Îmbunătățirea alocării Dirichlet Latente și a detectării pragurilor de rang cu ajutorul ontologiilor

Titlul original:

Augmenting Latent Dirichlet Allocation and Rank Threshold Detection with Ontologies

Conținutul cărții:

Într-un mediu din ce în ce mai bogat în date, informațiile utile trebuie extrase, filtrate și corelate din cantități masive de surse disparate, adesea text liber. Utilitatea informațiilor recuperate depinde de modul în care realizăm aceste etape și prezentăm cele mai relevante informații analistului.

O metodă de extragere a informațiilor din textul liber este Latent Dirichlet Allocation (LDA), o tehnică de categorizare a documentelor pentru clasificarea documentelor în subiecte coerente. Deși LDA ia în considerare unele relații implicite, cum ar fi sinonimia (același sens), adesea ignoră alte relații semantice, cum ar fi polisemia (sensuri diferite), hiponimul (subordonat), meronimul (parte din) și troponimul (mod).

Pentru a compensa această deficiență, încorporăm ontologii explicite de cuvinte, cum ar fi WordNet, în algoritmul LDA pentru a ține seama de diversele relații semantice. Experimentele pe colecțiile de documente 20 Newsgroups, NIPS, OHSUMED și IED demonstrează că încorporarea unor astfel de cunoștințe îmbunătățește măsura perplexității față de LDA singur pentru anumiți parametri.