Orchestrarea datelor în acceleratoarele de învățare profundă

Recenzii ale cititorilor

În prezent, nu există recenzii ale cititorilor. Evaluarea se bazează pe 3 voturi.

Titlul original:

Data Orchestration in Deep Learning Accelerators

Conținutul cărții:

Această prelegere de sinteză se concentrează asupra tehnicilor de orchestrare eficientă a datelor în cadrul acceleratoarelor DNN. Sfârșitul legii lui Moore, împreună cu creșterea tot mai mare a învățării profunde și a altor aplicații AI, a dus la apariția acceleratoarelor de rețele neuronale profunde (DNN) personalizate pentru inferența eficientă din punct de vedere energetic pe dispozitivele periferice.

DNN-urile moderne au milioane de hiperparametri și implică miliarde de calcule; acest lucru necesită o mișcare extinsă a datelor din memorie către motoarele de procesare pe cip. Este bine cunoscut faptul că, în prezent, costul deplasării datelor depășește costul calculului propriu-zis; prin urmare, acceleratoarele DNN necesită orchestrarea atentă a datelor între elementele de calcul, de rețea și de memorie de pe cip pentru a minimiza numărul de accesări la DRAM externă. Cartea abordează fluxurile de date DNN, reutilizarea datelor, ierarhiile tampon, rețelele pe cip și explorarea automată a spațiului de proiectare.

Cartea se încheie cu provocările legate de orchestrarea datelor cu DNN-uri comprimate și rare și cu tendințele viitoare. Publicul țintă este format din studenți, ingineri și cercetători interesați de proiectarea acceleratoarelor de înaltă performanță și cu consum redus de energie pentru inferența DNN.