Gradient Descent, Stochastic Optimization, and Other Tales

Conținutul cărții:

Scopul acestei cărți este să demonteze și să disipeze magia din spatele optimizatoarelor black-box și a optimizatoarelor stochastice. Ea urmărește să construiască o bază solidă cu privire la modul și motivul pentru care tehnicile funcționează.

Acest manuscris cristalizează aceste cunoștințe prin derivarea din intuiții simple, a matematicii din spatele strategiilor. Această carte nu se sfiește să abordeze atât aspectele formale, cât și cele informale ale metodelor de coborâre a gradientului și de optimizare stocastică. Prin aceasta, speră să ofere cititorilor o înțelegere mai profundă a acestor tehnici, precum și când, cum și de ce să aplice acești algoritmi.

Gradient descent este unul dintre cei mai populari algoritmi de optimizare și, de departe, cel mai comun mod de optimizare a sarcinilor de învățare automată. Versiunea sa stocastică primește atenție în ultimii ani, iar acest lucru este valabil în special pentru optimizarea rețelelor neuronale profunde.

În rețelele neuronale profunde, gradientul urmat de un singur eșantion sau de un lot de eșantioane este utilizat pentru a economisi resurse de calcul și a scăpa de punctele de șa. În 1951, Robbins și Monro au publicat A stochastic approximation method, unul dintre primele tratamente moderne privind optimizarea stochastică care estimează gradienții locali cu un nou lot de eșantioane.

În prezent, optimizarea stocastică a devenit o tehnologie de bază în învățarea automată, în mare parte datorită dezvoltării algoritmului de propagare înapoi în ajustarea unei rețele neuronale. Singurul scop al acestui articol este de a oferi o introducere de sine stătătoare la conceptele și instrumentele matematice în coborârea gradientului și optimizarea stochastică.