Validitate, fiabilitate și semnificație: Metode empirice pentru Nlp și știința datelor

Titlul original:

Validity, Reliability, and Significance: Empirical Methods for Nlp and Data Science

Conținutul cărții:

Metodele empirice sunt mijloace de a răspunde la întrebările metodologice ale științelor empirice prin tehnici statistice. Întrebările metodologice abordate în această carte includ problemele de validitate, fiabilitate și semnificație. În cazul învățării automate, acestea corespund întrebărilor dacă un model prezice ceea ce se dorește a prezice, dacă performanța unui model este consecventă între replicări și, respectiv, dacă o diferență de performanță între două modele se datorează șansei. Scopul acestei cărți este de a răspunde la aceste întrebări prin teste statistice concrete care pot fi aplicate pentru a evalua validitatea, fiabilitatea și semnificația adnotării datelor și a predicției învățării automate în domeniul NLP și al științei datelor.

Ne concentrăm asupra metodelor empirice bazate pe modele în care adnotările datelor și predicțiile modelelor sunt tratate ca date de formare pentru modele probabilistice interpretabile din familiile bine cunoscute de modele aditive generalizate (GAM) și modele liniare cu efecte mixte (LMEM). Pe baza parametrilor interpretabili ai GAM-urilor sau LMEM-urilor formate, cartea prezintă teste statistice bazate pe modele, cum ar fi un test de validitate care permite detectarea caracteristicilor circulare care eludează învățarea. În plus, cartea abordează un coeficient de fiabilitate care utilizează descompunerea varianței pe baza parametrilor efectului aleatoriu al LMEM-urilor. În cele din urmă, se demonstrează că un test de semnificație bazat pe raportul de probabilitate al LMEM-urilor imbricate antrenate pe scorurile de performanță a două modele de învățare automată permite în mod natural includerea variațiilor în setările meta-parametrilor în testarea ipotezelor și facilitează în continuare o comparație rafinată a sistemului condiționată de proprietățile datelor de intrare.

Această carte poate fi utilizată ca o introducere la metodele empirice pentru învățarea automată în general, cu un accent special pe aplicațiile în NLP și știința datelor. Cartea este de sine stătătoare, cu un apendice privind contextul matematic al GAM-urilor și LMEM-urilor și cu o pagină web însoțitoare care include codul R pentru a reproduce experimentele prezentate în carte.