Analiza regretului în probleme de bandit cu mai multe arme stocastice și nestocastice

Recenzii ale cititorilor

În prezent, nu există recenzii ale cititorilor. Evaluarea se bazează pe 2 voturi.

Titlul original:

Regret Analysis of Stochastic and Nonstochastic Multi-Armed Bandit Problems

Conținutul cărții:

O problemă de bandit cu mai multe brațe - sau, pur și simplu, o problemă de bandit - este o problemă de alocare secvențială definită de un set de acțiuni. La fiecare pas de timp, o resursă unitară este alocată unei acțiuni și se obține o anumită plată observabilă.

Scopul este de a maximiza câștigul total obținut într-o secvență de alocări. Denumirea de bandit se referă la termenul colocvial pentru o mașină de sloturi (un "one-armed bandit" în argoul american). Într-un cazinou, o problemă de alocare secvențială se obține atunci când jucătorul se confruntă cu mai multe aparate de joc simultan (un "bandit cu mai multe brațe") și trebuie să aleagă în mod repetat unde să introducă următoarea monedă.

Problemele cu bandiți cu mai multe brațe sunt cele mai de bază exemple de probleme decizionale secvențiale cu un compromis explorare-exploatare. Acesta este echilibrul între a rămâne la opțiunea care a oferit cele mai mari câștiguri în trecut și a explora noi opțiuni care ar putea oferi câștiguri mai mari în viitor.

Deși studiul problemelor bandit datează din anii 1930, compromisurile explorare-exploatare apar în mai multe aplicații moderne, cum ar fi plasarea anunțurilor, optimizarea site-urilor web și rutarea pachetelor. Din punct de vedere matematic, un bandit cu mai multe brațe este definit de procesul de plată asociat fiecărei opțiuni. În această carte, accentul este pus pe două cazuri extreme în care analiza regretului este deosebit de simplă și elegantă: plățile independente și identic distribuite și plățile adversare.

Pe lângă cadrul de bază al numărului finit de acțiuni, ea analizează, de asemenea, unele dintre cele mai importante variante și extensii, cum ar fi modelul bandit contextual. Această monografie este o referință ideală pentru studenții și cercetătorii interesați de problemele bandit.