Optimizarea distribuită și învățarea statistică prin metoda multiplicatorilor cu direcție alternantă

Titlul original:

Distributed Optimization and Statistical Learning Via the Alternating Direction Method of Multipliers

Conținutul cărții:

Multe probleme de interes recent în statistică și învățarea automată pot fi puse în cadrul optimizării convexe.

Datorită exploziei dimensiunii și complexității seturilor de date moderne, este din ce în ce mai important să se poată rezolva probleme cu un număr foarte mare de caracteristici sau exemple de instruire. Ca urmare, atât colectarea sau stocarea descentralizată a acestor seturi de date, cât și metodele de rezolvare distribuite aferente sunt necesare sau cel puțin foarte de dorit.

Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers susține că metoda multiplicatorilor cu direcție alternantă este foarte potrivită pentru optimizarea convexă distribuită și, în special, pentru problemele la scară largă care apar în statistică, învățare automată și domenii conexe. Metoda a fost dezvoltată în anii 1970, cu rădăcini în anii 1950, și este echivalentă sau strâns legată de mulți alți algoritmi, cum ar fi descompunerea duală, metoda multiplicatorilor, împărțirea Douglas-Rachford, metoda inverselor parțiale a lui Spingarn, proiecțiile alternante ale lui Dykstra, algoritmii iterativi Bregman pentru ℓ. 1, metodele proximale și altele.

După o scurtă trecere în revistă a teoriei și istoriei algoritmului, se discută aplicațiile la o mare varietate de probleme statistice și de învățare automată de interes recent, inclusiv lasso, regresie logistică dispersată, urmărirea bazei, selectarea covarianței, mașini cu vectori suport și multe altele. De asemenea, se discută despre optimizarea distribuită generală, despre extinderile la setările neconvexe și despre implementarea eficientă, inclusiv unele detalii privind implementările distribuite MPI și Hadoop MapReduce.