Reinforcement Learning, ediția a doua: O introducere

Recenzii ale cititorilor

Cartea este considerată pe scară largă drept o resursă esențială pentru entuziaștii și profesioniștii din domeniul învățării prin consolidare (RL). Este lăudată pentru profunzimea, claritatea, exercițiile bine structurate și abordarea pedagogică, ceea ce o face accesibilă chiar și celor cu o pregătire matematică moderată. Cu toate acestea, criticile se concentrează pe calitatea inconsecventă a imprimării, în special în cazul edițiilor care nu provin direct de la MIT Press, și pe preocupările legate de adecvarea sa pentru începătorii compleți în domeniu.

⬤ Acoperire cuprinzătoare a învățării prin întărire
⬤ exerciții bine structurate și riguroase
⬤ explicații clare
⬤ calitate bună a tipăririi în exemplarele vândute direct de MIT Press
⬤ util pentru diferite niveluri de expertiză (în special pentru cei cu unele cunoștințe anterioare)
⬤ include conexiuni interdisciplinare cu psihologia și neuroștiința.

⬤ Calitate inconsistentă a imprimării, în special la vânzătorii terți
⬤ nu este potrivit ca text introductiv pentru începători
⬤ unele secțiuni sunt intensive din punct de vedere matematic
⬤ conținutul istoric poate fi considerat inutil de către unii cititori
⬤ erori editoriale minore raportate în anumite exemplare.

(pe baza a 115 recenzii ale cititorilor)

Titlul original:

Reinforcement Learning, Second Edition: An Introduction

Conținutul cărții:

Noua ediție semnificativ extinsă și actualizată a unui text utilizat pe scară largă privind învățarea prin întărire, unul dintre cele mai active domenii de cercetare în inteligența artificială.

Învățarea prin consolidare, unul dintre cele mai active domenii de cercetare în inteligența artificială, este o abordare computațională a învățării prin care un agent încearcă să maximizeze valoarea totală a recompensei pe care o primește în timp ce interacționează cu un mediu complex și incert. În Reinforcement Learning, Richard Sutton și Andrew Barto oferă o prezentare clară și simplă a ideilor-cheie și a algoritmilor acestui domeniu. Această a doua ediție a fost semnificativ extinsă și actualizată, prezentând subiecte noi și actualizând acoperirea altor subiecte.

La fel ca prima ediție, această a doua ediție se concentrează pe algoritmii de bază ai învățării online, materialele mai matematice fiind prezentate în casete umbrite. Partea I acoperă cât mai mult posibil din învățarea prin întărire fără a depăși cazul tabular pentru care se pot găsi soluții exacte. Mulți algoritmi prezentați în această parte sunt noi în a doua ediție, inclusiv UCB, Expected Sarsa și Double Learning. Partea a II-a extinde aceste idei la aproximarea funcțiilor, cu secțiuni noi pe teme precum rețelele neuronale artificiale și baza Fourier, și oferă o tratare extinsă a metodelor de învățare off-policy și policy-gradient. Partea a III-a are capitole noi privind relațiile învățării prin întărire cu psihologia și neuroștiința, precum și un capitol actualizat de studii de caz, inclusiv AlphaGo și AlphaGo Zero, jocul Atari și strategia de pariere a lui IBM Watson. Ultimul capitol discută impactul societal viitor al învățării prin consolidare.