Învățarea prin consolidare și optimizarea stochastică: Un cadru unificat pentru decizii secvențiale

Recenzii ale cititorilor

Cartea este caracterizată ca un ghid cuprinzător și aprofundat pentru programarea dinamică stochastică și învățarea prin consolidare, potrivit pentru profesioniștii din cercetarea operațională. Ea conectează cu succes diverse domenii, inclusiv învățarea prin consolidare și teoria controlului, oferind în același timp un cadru unificat pentru luarea deciziilor secvențiale. Cu toate acestea, suferă de numeroase greșeli de scriere și de un stil de scriere pe care unii îl pot găsi complicat.

⬤ Acoperire cuprinzătoare a conceptelor de luare a deciziilor secvențiale.
⬤ Bine scrisă și accesibilă pentru cititori din diverse medii.
⬤ Conectează în mod eficient diferite domenii, oferind perspective valoroase.
⬤ Oferă un cadru unificat pentru mai multe comunități implicate în deciziile secvențiale.
⬤ Exerciții utile și o referință bună pentru profesioniști.

⬤ Număr mare de greșeli de scriere și opțiuni dubioase de notare.
⬤ Lipsesc derivările pentru unele rezultate matematice, ceea ce impune cititorilor să verifice sau să re-deriveze singuri.
⬤ Stilul de scriere poate fi complicat pentru unii, făcând lectura plictisitoare.
⬤ Conținutul este foarte concentrat pe cercetarea operațională, ceea ce îi poate îndepărta pe cei care provin din domenii diferite, cum ar fi învățarea automată.

(pe baza a 12 recenzii ale cititorilor)

Titlul original:

Reinforcement Learning and Stochastic Optimization: A Unified Framework for Sequential Decisions

Conținutul cărții:

ÎNVĂȚAREA PRIN CONSOLIDARE ȘI OPTIMIZAREA STOCHASTICĂ

Curățarea junglei optimizării stochastice

Problemele decizionale secvențiale, care constau în "decizie, informație, decizie, informație", sunt omniprezente, acoperind practic orice activitate umană, de la aplicații de afaceri, sănătate (sănătate personală și publică și luarea deciziilor medicale), energie, științe, toate domeniile ingineriei, finanțe și comerț electronic. Diversitatea aplicațiilor a atras atenția a cel puțin 15 domenii de cercetare distincte, folosind opt sisteme de notare distincte care au produs o gamă largă de instrumente analitice. Un produs secundar este faptul că instrumentele puternice dezvoltate într-o comunitate pot fi necunoscute altor comunități.

Reinforcement Learning and Stochastic Optimization oferă un cadru canonic unic care poate modela orice problemă de decizie secvențială folosind cinci componente de bază: variabile de stare, variabile de decizie, variabile de informare exogene, funcție de tranziție și funcție obiectiv. Această carte evidențiază douăsprezece tipuri de incertitudine care ar putea intra în orice model și reunește setul divers de metode de luare a deciziilor, cunoscute sub numele de politici, în patru clase fundamentale care acoperă fiecare metodă sugerată în literatura academică sau utilizată în practică.

Reinforcement Learning and Stochastic Optimization este prima carte care oferă o tratare echilibrată a diferitelor metode de modelare și rezolvare a problemelor decizionale secvențiale, urmând stilul folosit de majoritatea cărților despre machine learning, optimizare și simulare. Prezentarea este concepută pentru cititorii cu un curs de probabilitate și statistică și un interes pentru modelare și aplicații. Programarea liniară este utilizată ocazional pentru anumite clase de probleme. Cartea este concepută pentru cititorii care sunt noi în domeniu, precum și pentru cei cu o anumită experiență în optimizarea în condiții de incertitudine.

De-a lungul acestei cărți, cititorii vor găsi referințe la peste 100 de aplicații diferite, cuprinzând probleme de învățare pură, probleme dinamice de alocare a resurselor, probleme generale dependente de stare și probleme hibride de învățare/alocare a resurselor, cum ar fi cele care au apărut în pandemia COVID. Există 370 de exerciții, organizate în șapte grupe, variind de la întrebări de revizuire, modelare, calcul, rezolvare de probleme, teorie, exerciții de programare și o "problemă de jurnal" pe care cititorul o alege la începutul cărții și care este utilizată ca bază pentru întrebările din restul cărții.