Multi-Armed Bandits - Teorie și aplicații la învățarea online în rețele

Titlul original:

Multi-Armed Bandits - Theory and Applications to Online Learning in Networks

Conținutul cărții:

Problemele bandit cu mai multe brațe se referă la luarea de decizii secvențiale optime și la învățarea în medii necunoscute. De la prima problemă bandit pusă de Thompson în 1933 pentru aplicarea testelor clinice, problemele bandit s-au bucurat de o atenție durabilă din partea mai multor comunități de cercetare și au găsit o gamă largă de aplicații în domenii diverse.

Această carte acoperă rezultate clasice și dezvoltări recente privind problemele bandit atât bayesiene, cât și frequentiste. În capitolul 1 începem cu o scurtă prezentare generală a istoriei problemelor bandit, contrastând cele două școli de abordare - bayesiană și frequentistă - și subliniind rezultatele fundamentale și aplicațiile cheie. Capitolele 2 și 4 abordează, respectiv, modelele canonic Bayesian și frequentist de bandit.

În capitolele 3 și 5, discutăm variantele majore ale modelelor bandit canonice care conduc la noi direcții, aduc noi tehnici și extind aplicațiile acestei probleme clasice. În capitolul 6, prezentăm mai multe exemple de aplicații reprezentative în rețelele de comunicații și sistemele socio-economice, cu scopul de a clarifica legăturile dintre formulările bayesiene și frequentiste ale problemelor bandit și modul în care rezultatele structurale aparținând uneia pot fi valorificate pentru a obține soluții în cadrul celeilalte.