Prelucrarea datelor cu Optimus: Îmbunătățirea sarcinilor de pregătire a datelor mari pentru analiză și învățare automată cu Optimus utilizând Dask și PySpark

Recenzii ale cititorilor

Cartea este lăudată pentru acoperirea cuprinzătoare a procesării datelor utilizând Pandas și Optimus, fiind o resursă valoroasă atât pentru începători, cât și pentru profesioniștii cu experiență în prelucrarea datelor. Ea simplifică sarcinile complexe legate de date și sporește eficiența fluxului de lucru.

Oferă îndrumări detaliate privind preprocesarea datelor cu Pandas și Optimus.

Excelentă pentru învățarea și accelerarea manipulării și transformării datelor.

(pe baza a 4 recenzii ale cititorilor)

Titlul original:

Data Processing with Optimus: Supercharge big data preparation tasks for analytics and machine learning with Optimus using Dask and PySpark

Conținutul cărții:

Scris de echipa de bază Optimus, acest ghid cuprinzător vă va ajuta să înțelegeți cum Optimus îmbunătățește întregul peisaj al procesării datelor

Caracteristici principale:

⬤ Încărcați, îmbinați și salvați eficient date mici și mari cu Optimus.

⬤ Învățați funcțiile Optimus pentru analiza datelor, ingineria caracteristicilor, învățarea automată, validarea încrucișată și NLP.

⬤ Descoperiți cum Optimus îmbunătățește alte tehnologii de cadre de date și vă ajută să vă accelerați sarcinile de prelucrare a datelor.

Descrierea cărții:

Optimus este o bibliotecă Python care funcționează ca un API unificat pentru curățarea, prelucrarea și fuzionarea datelor. Poate fi utilizată pentru manipularea datelor mici și mari pe laptopul dvs. local sau pe clustere la distanță utilizând CPU sau GPU.

Cartea începe prin a acoperi elementele interne ale Optimus și modul în care acesta funcționează în tandem cu tehnologiile existente pentru a răspunde nevoilor dvs. de prelucrare a datelor. Veți învăța apoi cum să utilizați Optimus pentru încărcarea și salvarea datelor din formate de date text, cum ar fi fișierele CSV și JSON, explorarea fișierelor binare, cum ar fi Excel, și pentru prelucrarea datelor columnare cu Parquet, Avro și OCR. În continuare, vă veți familiariza cu profilerul și tipurile sale de date - o caracteristică unică a Optimus Dataframe care ajută la calitatea datelor. Veți vedea cum să utilizați graficele disponibile în Optimus, cum ar fi histograma, graficele de frecvență, graficele de împrăștiere și graficele box, și veți înțelege cum Optimus vă permite să vă conectați la biblioteci precum Plotly și Altair. De asemenea, veți aprofunda aplicații avansate precum ingineria caracteristicilor, învățarea automată, validarea încrucișată și funcțiile de procesare a limbajului natural și veți explora progresele din Optimus. În cele din urmă, veți învăța cum să creați funcții de curățare și transformare a datelor și să adăugați un nou motor ipotetic de procesare a datelor cu Optimus.

Până la sfârșitul acestei cărți, veți putea să vă îmbunătățiți cu ușurință fluxul de lucru pentru știința datelor cu Optimus.

Ce veți învăța:

⬤ Utilizați peste 100 de funcții de procesare a datelor peste coloane și alte valori de tip string.

⬤ Formați și pivotați datele pentru a obține rezultatul în formatul dorit.

⬤ Aflați cum să trasați histograme, diagrame de frecvență, diagrame scatter, diagrame box și multe altele.

⬤ Conectați Optimus cu biblioteci de vizualizare Python populare, cum ar fi Plotly și Altair.

⬤ Aplicați tehnici de grupare a șirurilor pentru a normaliza șirurile.

⬤ Descoperiți funcții de explorare, corectare și eliminare a datelor de slabă calitate.

⬤ Utilizați tehnici avansate pentru a elimina valorile aberante din datele dvs.

⬤ Adăugați motoare și funcții personalizate pentru a curăța, procesa și fuziona datele.

Pentru cine este această carte:

Această carte se adresează dezvoltatorilor Python care doresc să exploreze, să transforme și să pregătească date mari pentru machine learning, analiză și raportare folosind Optimus, un API unificat pentru a lucra cu Pandas, Dask, cuDF, Dask-cuDF, Vaex și Spark. Deși nu este necesar, cunoștințele de nivel începător de Python vor fi utile. Sunt necesare cunoștințe de bază despre CLI pentru a instala Optimus și cerințele sale. Pentru utilizarea tehnologiilor GPU, veți avea nevoie de o placă grafică NVIDIA compatibilă cu biblioteca RAPIDS a NVIDIA, care este compatibilă cu Windows 10 și Linux.