Rozpoznávanie pomenovanej entity (NER) je základná úloha v spracovaní prirodzeného jazyka (NLP), ktorej cieľom je identifikovať a klasifikovať menované entity uvedené v texte do preddefinovaných kategórií, ako sú názvy osôb, organizácií, miesta, prejavy časov, množstiev, množstiev, peňazí, percentuálneho podielu atď. V posledných rokoch architektúra transformátora revolúcia v NLP, ktorá ponúka značné zlepšenie presnosti NER. Ako dodávateľ transformátora sme dobre orientovaní v mechanizmoch, prostredníctvom ktorých transformátory zvyšujú presnosť NER, a v nasledujúcej diskusii sa ponoríme do týchto aspektov.
1. Mechanizmus pozornosti
Jednou z kľúčových inovácií architektúry transformátora je mechanizmus sebapoznania. Na rozdiel od tradičných architektúr neurónových sietí, ktoré sa spoliehajú na postupné spracovanie, mechanizmus sebaposlednej pozornosti umožňuje modelu súčasne zvážiť všetky pozície vo vstupnej sekvencii a vypočítať vážený súčet znakov na rôznych pozíciách.
V kontexte NER je obzvlášť prospešný mechanizmus pozornosti. Pri spracovaní vety sa pomenované entity často prekračujú viacerých tokenov a ich význam úzko súvisí s okolitým kontextom. Napríklad vo vete „Apple Inc. plánuje budúci mesiac na trh nového produktu v San Franciscu“, mechanizmus sebaposilnenia môže priradiť vysoké váhy žetónom „Apple“, „Inc.“, „San Francisco“ a „Budúci mesiac“, pretože sú súčasťou pomenovaných subjektov. Zohľadnením dlhých závislostí vo vete môže model lepšie porozumieť sémantickým vzťahom medzi rôznymi tokenmi a presne identifikovať pomenované entity.
Známy dokument „Pozornosť je všetko, čo potrebujete“, predstavil architektúru transformátora a preukázal, ako mechanizmus sebaposlednej pozornosti dokáže zachytiť komplexné závislosti v sekvenciách. Viacnásobná pozornosť hlavy túto schopnosť ďalej zvyšuje túto schopnosť tým, že umožňuje modelu zamerať sa na rôzne aspekty vstupnej sekvencie z viacerých perspektív. Toto je užitočné najmä v NER, kde rôzne pomenované entity môžu vyžadovať presné rozpoznávanie rôznych kontextových informácií.
2. Pre - výcvik a jemné - ladenie paradigmy
Transformátory často prijímajú predškolské a jemné paradigma ladenia. Vo fáze pred tréningom sú modely rozsiahle jazyky vyškolené na obrovské množstvo neznačených textových údajov, ako sú články Wikipedia alebo News Corpora. Počas pred - tréningom sa model učí všeobecné jazykové znalosti vrátane slovnej zásoby, syntaxe a sémantických informácií.
Pre NER už vopred trénované transformátorové modely už zachytili množstvo jazykových informácií. Jemné - ladenie vopred trénovaného modelu na označený súbor NER Dataset môže rýchlo prispôsobiť model konkrétnej úlohe NER. Keďže model vopred vyškoleného modelu sa už naučil bohaté sémantické reprezentácie, proces jemného ladenia môže tieto reprezentácie efektívne využiť a upraviť parametre modelu, aby sa zamerali na pomenované rozpoznávanie entity.
Modely ako Bert (znázornenie obojsmerného kodéra z transformátorov) vykazovali vynikajúci výkon pri úlohách NER. BERT je vopred trénovaný pomocou maskovaného jazykového modelovania a nasledujúcich úloh predikcie vety. Maskované jazykové modelovanie núti model predpovedať maskované tokeny na základe okolitého kontextu, ktorý pomáha modelu naučiť sa obojsmerné kontextové informácie. Tieto obojsmerné informácie sú pre NER rozhodujúce, pretože pomenované entity je potrebné rozpoznať na základe predchádzajúceho aj nasledujúceho kontextu.
3. Kontextualizované vloženia slov
Transformátory generujú kontextualizované vloženia slov. Tradičné vkladanie slov, ako napríklad Word2Vec alebo rukavica, priraďuje každému slovu v slovnej zásobe pevné vektorové znázornenie, bez ohľadu na kontext, v ktorom sa slovo objaví. Naopak, transformátory generujú vloženia slov, ktoré zohľadňujú kontext slova vo vete.
V NER sú kontextualizované vloženia slov veľmi výhodné. Slovo môže mať v rôznych kontextoch rôzne sémantické významy a pomenované entity môžu byť ovplyvnené aj kontextom. Napríklad slovo „banka“ sa môže vzťahovať na finančnú inštitúciu alebo na strane rieky. Použitím kontextualizovaných vložení slov dokáže model transformátora rozlišovať medzi týmito rôznymi význammi a presne klasifikovať pomenované entity.
Architektúra transformátora to dosahuje odovzdaním vstupnej sekvencie cez viacero vrstiev sebapoznania a krmiva - vpred neurónové siete. Každá vrstva vylepšuje reprezentáciu vstupnej sekvencie funkcie, čo umožňuje modelu generovať presnejšie kontextualizované vloženia slov.
4. Robustnosť modelu a zovšeobecnenie
Transformátory sú známe svojou robustnosťou a generalizáciou. Veľká miera pred - výcvik na rôznych zdrojoch údajov pomáha modelu naučiť sa širokú škálu jazykových vzorov a sémantických informácií. To umožňuje modelu dobre fungovať pri rôznych ner úlohách, aj keď sa zaoberá neviditeľnými alebo vzácnymi menovanými entitami.
Okrem toho je architektúra transformátora relatívne necitlivá na poradie vstupných tokenov v porovnaní s niektorými tradičnými modelmi založenými na neurónovej sieti. To znamená, že model môže stále presne rozpoznať pomenované entity, aj keď vstupná veta má nejaký šum alebo nie je dokonale štruktúrovaná. Napríklad v reálnom svete textových údajov môžu existovať preklepy, skratky alebo nie - štandardné poradie slov. Model transformátora môže stále využívať celkový kontext na identifikáciu pomenovaných entít.
Aplikácia našich transformátorov v NER
Ako dodávateľ transformátora ponúkame celý rad riešení založených na vysokej kvalite transformátorov, ktoré môžu výrazne zlepšiť presnosť NER. Naše transformátory sú navrhnuté s optimalizovanými architektúrami a tréningovými algoritmami, aby sa zaistil vynikajúci výkon.
PoskytujemeLong - Life Oil - Plnený transformátor mriežky,Blesky - ochrana priemyselného transformátora energieaSelf - ochranný prírodný chladiaci olej - ponorený transformátor. Tieto transformátory je možné prispôsobiť podľa konkrétnych potrieb projektov NER. Náš technický tím má bohaté skúsenosti s prácou na NER úlohách a môže poskytovať komplexnú podporu, od predbežného výcviku po pokutu - ladenie a nasadenie.
Ak sa snažíte vylepšiť presnosť vašich NER úloh, naše transformátory môžu byť ideálnou voľbou. Či už pracujete na veľkom projekte extrakcie informácií o veľkom rozsahu alebo na malej mierke - ODPOVEJ SYSTÉM, Naši transformátory vám môžu pomôcť dosiahnuť lepšie výsledky.
Kontaktujte nás pre NER Solutions
Vítame potenciálnych zákazníkov, aby nás kontaktovali pre hĺbkové diskusie o riešeniach NER pomocou našich transformátorov. Náš predajný tím rád poskytne podrobné informácie o produkte, technické špecifikácie a podrobnosti o cenách. Využitím našich odborných znalostí a vysokých výkonnostných transformátorov môžete posunúť svoje NER projekty na ďalšiu úroveň.
Odkazy
- Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). Pozornosť je všetko, čo potrebujete. V pokroku v systémoch spracovania neurónov.
- Devlin, J., Chang, MW, Lee, K., & Toutanova, K. (2018). BERT: Pred - výcvik hlbokých obojsmerných transformátorov pre porozumenie jazyka. Arxiv Pretlač Arxiv: 1810.04805.
