Învățarea PySpark: Construiți local aplicații cu utilizare intensivă de date și implementați la scară largă folosind puterile combinate ale Python și Spark 2.0

Recenzii ale cititorilor

Cartea despre Spark și PySpark oferă o înțelegere introductivă a diferitelor subiecte, dar îi lipsește profunzimea și exhaustivitatea exemplelor, ceea ce conduce adesea la o experiență frustrantă pentru cititori. Deși oferă o imagine de ansamblu potrivită pentru noii veniți, necesită, de asemenea, resurse și eforturi suplimentare pentru a umple lacunele.

⬤ Ton prietenos și bun pentru noii veniți la Spark.
⬤ Acoperă o gamă largă de subiecte, inclusiv structuri de date și învățare automată.
⬤ Conține coduri de exemplu care pot ajuta la învățare.
⬤ Punct de plecare bun pentru a înțelege conceptele de bază.

⬤ Exemplele sunt adesea incomplete sau necesită resurse externe pentru a fi înțelese pe deplin, ceea ce îl face dificil de utilizat ca ghid de sine stătător.
⬤ Lipsă de profunzime în discuții; multe subiecte sunt acoperite doar superficial.
⬤ Exemplele de cod nu funcționează din cutie și nu au contextul necesar.
⬤ Organizarea necorespunzătoare și paginarea în unele secțiuni îl fac dificil de citit.
⬤ În general, percepută ca fiind grăbită sau lipsită de o structură coerentă.

(pe baza a 10 recenzii ale cititorilor)

Titlul original:

Learning PySpark: Build data-intensive applications locally and deploy at scale using the combined powers of Python and Spark 2.0

Conținutul cărții:

Creați local aplicații cu utilizare intensivă a datelor și implementați la scară largă utilizând puterile combinate ale Python și Spark 2. 0 Despre această carte - Aflați de ce și cum puteți utiliza eficient Python pentru a procesa date și a construi modele de învățare automată în Apache Spark 2.

0 - Dezvoltați și implementați soluții Spark eficiente și scalabile în timp real - Duceți înțelegerea utilizării Spark cu Python la nivelul următor cu acest ghid de pornire Pentru cine este această carte Dacă sunteți un dezvoltator Python care dorește să învețe despre ecosistemul Apache Spark 2. 0, această carte este pentru dvs. O înțelegere fermă a Python este de așteptat pentru a obține cele mai bune rezultate din carte.

Familiarizarea cu Spark ar fi utilă, dar nu este obligatorie.

Ce veți învăța - Veți învăța despre Apache Spark și arhitectura Spark 2. 0 - Construiți și interacționați cu Spark DataFrames utilizând Spark SQL - Aflați cum să rezolvați probleme de grafică și de învățare profundă utilizând GraphFrames și, respectiv, TensorFrames - Citiți, transformați și înțelegeți datele și le utilizați pentru a antrena modele de învățare automată - Construiți modele de învățare automată cu MLlib și ML - Aflați cum să vă trimiteți aplicațiile în mod programatic utilizând spark-submit - Deplasați aplicații construite local într-un cluster În detaliu Apache Spark este un cadru open source pentru calcularea eficientă în cluster, cu o interfață puternică pentru paralelismul datelor și toleranța la erori.

Această carte vă va arăta cum să profitați de puterea Python și să o puneți în valoare în ecosistemul Spark. Veți începe prin a obține o înțelegere solidă a arhitecturii Spark 2. 0 și cum să configurați un mediu Python pentru Spark.

Vă veți familiariza cu modulele disponibile în PySpark. Veți învăța cum să abstractizați datele cu RDD și DataFrames și să înțelegeți capacitățile de streaming ale PySpark. De asemenea, veți obține o prezentare completă a capacităților de învățare automată ale PySpark utilizând ML și MLlib, procesarea grafurilor utilizând GraphFrames și persistența poliglot utilizând Blaze.

În cele din urmă, veți învăța cum să vă implementați aplicațiile în cloud utilizând comanda spark-submit. Până la sfârșitul acestei cărți, veți fi stabilit o înțelegere fermă a API-ului Spark Python și a modului în care acesta poate fi utilizat pentru a construi aplicații de date intensive.

Stil și abordare Această carte are o abordare foarte cuprinzătoare, pas cu pas, astfel încât să înțelegeți cum poate fi utilizat ecosistemul Spark cu Python pentru a dezvolta soluții eficiente și scalabile. Fiecare capitol este de sine stătător și scris într-o manieră foarte ușor de înțeles, cu accent atât pe cum, cât și pe de ce ale fiecărui concept.