Getting Started with Google BERT: Construiți și instruiți modele de procesare a limbajului natural de ultimă generație utilizând BERT

Recenzii ale cititorilor

Cartea servește ca o introducere cuprinzătoare în BERT și în arhitectura transformatorului care stă la baza acesteia, oferind un echilibru între explicațiile teoretice și exemplele practice de programare. Este deosebit de potrivită pentru cei care au o înțelegere de bază a NLP și a învățării profunde, detaliind diverse variante și aplicații BERT. Cu toate acestea, unii cititori au criticat cartea pentru limbajul său redundant, tratarea superficială a subiectelor complexe și problemele legate de calitatea imprimării.

⬤ Expunere clară și succintă a arhitecturii BERT și a transformatorului
⬤ combină teoria cu aplicații practice și exemple de codare
⬤ accesibilă cititorilor fără doctorat
⬤ laboratoarele practice și resursele GitHub îmbunătățesc experiența de învățare
⬤ discuții despre multiple variante BERT și cazuri de utilizare.

⬤ Limbaj redundant și repetiție în explicații
⬤ unele acoperiri superficiale ale subiectelor complexe
⬤ probleme cu calitatea imprimării
⬤ mai mulți cititori au raportat erori în cod
⬤ unii au considerat conținutul prea elementar sau lipsit de profunzime pentru practicienii avansați.

(pe baza a 38 recenzii ale cititorilor)

Titlul original:

Getting Started with Google BERT: Build and train state-of-the-art natural language processing models using BERT

Conținutul cărții:

Începeți călătoria dvs. NLP prin explorarea BERT și a variantelor sale, cum ar fi ALBERT, RoBERTa, DistilBERT, VideoBERT și multe altele cu biblioteca de transformatoare Hugging Face

Caracteristici principale

⬤ Explorați codificatorul și decodificatorul modelului transformator.

⬤ Deveniți bine familiarizați cu BERT împreună cu ALBERT, RoBERTa și DistilBERT.

⬤ Descoperiți cum să pre-antrenați și să reglați fin modelele BERT pentru mai multe sarcini NLP.

Descrierea cărții

BERT (codificator bidirecțional de reprezentări din transformator) a revoluționat lumea procesării limbajului natural (NLP) cu rezultate promițătoare. Această carte este un ghid introductiv care vă va ajuta să vă familiarizați cu arhitectura BERT de la Google. Cu o explicație detaliată a arhitecturii transformatorului, această carte vă va ajuta să înțelegeți cum funcționează codificatorul și decodificatorul transformatorului.

Veți explora arhitectura BERT prin învățarea modului în care modelul BERT este pre-format și cum să utilizați BERT pre-format pentru sarcini în aval prin ajustarea sa fină pentru sarcini NLP, cum ar fi analiza sentimentelor și rezumarea textului cu biblioteca de transformatoare Hugging Face. Pe măsură ce avansați, veți învăța despre diferite variante ale BERT, cum ar fi ALBERT, RoBERTa și ELECTRA, și veți analiza SpanBERT, care este utilizat pentru sarcini NLP precum răspunsul la întrebări. Veți aborda, de asemenea, variante BERT mai simple și mai rapide bazate pe distilarea cunoștințelor, cum ar fi DistilBERT și TinyBERT. Cartea vă prezintă în detaliu MBERT, XLM și XLM-R și apoi vă prezintă sentence-BERT, care este utilizat pentru obținerea reprezentării propozițiilor. În cele din urmă, veți descoperi modele BERT specifice domeniului, cum ar fi BioBERT și ClinicalBERT, și veți descoperi o variantă interesantă numită VideoBERT.

Până la sfârșitul acestei cărți BERT, veți fi bine familiarizat cu utilizarea BERT și a variantelor sale pentru a efectua sarcini practice NLP.

Ce veți învăța

⬤ Înțelegeți modelul transformatorului de la zero.

⬤ Descoperiți cum funcționează BERT și pre-antrenați-l folosind modelul de limbaj mascat (MLM) și sarcinile de predicție a propoziției următoare (NSP).

⬤ Să vă familiarizați cu BERT învățând să generați încorporări contextuale de cuvinte și propoziții.

⬤ Fine-tune BERT pentru sarcinile din aval.

⬤ Să vă familiarizați cu modelele ALBERT, RoBERTa, ELECTRA și SpanBERT.

⬤ Cunoașterea modelelor BERT bazate pe distilarea cunoștințelor.

⬤ Înțelegeți modelele interlingvistice precum XLM și XLM-R.

⬤ Explorați Sentence-BERT, VideoBERT și BART.

Cui se adresează această carte

Această carte se adresează profesioniștilor NLP și cercetătorilor de date care doresc să simplifice sarcinile NLP pentru a permite înțelegerea eficientă a limbajului utilizând BERT. O înțelegere de bază a conceptelor NLP și a învățării profunde este necesară pentru a obține cele mai bune rezultate din această carte.