Conducte de date cu Apache Airflow

Recenzii ale cititorilor

Cartea este recomandată ca o resursă cuprinzătoare pentru învățarea și utilizarea Apache Airflow, acoperind în mod eficient atât subiecte de bază, cât și avansate. Structura permite cititorilor să înțeleagă rapid elementele fundamentale, oferind în același timp informații aprofundate pentru practicienii experimentați. Cu toate acestea, a fost remarcat faptul că discuțiile privind securitatea sunt amânate până la o secțiune ulterioară, ceea ce unii cititori consideră îngrijorător.

Explicații detaliate, bune practici incluse, exemple de cod adaptabile, acoperă atât subiecte de bază, cât și avansate, bine scrisă și structurată, excelentă atât pentru începători, cât și pentru utilizatorii experimentați, conține rețete practice și exemple realiste, servește ca o referință excelentă.

Subiectele de securitate sunt abordate târziu în carte (pagina 322), unii cititori consideră că ar putea lipsi sfaturi practice imediate pentru aplicații la locul de muncă.

(pe baza a 12 recenzii ale cititorilor)

Titlul original:

Data Pipelines with Apache Airflow

Conținutul cărții:

Data Pipelines with Apache Airflow vă învață cum să construiți și să mențineți conducte de date eficiente.

Rezumat

O conductă de succes transportă datele în mod eficient, minimizând pauzele și blocajele dintre sarcini, menținând operațional fiecare proces de-a lungul drumului. Apache Airflow oferă un singur mediu personalizabil pentru construirea și gestionarea conductelor de date, eliminând necesitatea unei colecții amestecate de instrumente, cod de tip fulg de nea și procese de casă. Folosind scenarii și exemple din lumea reală, Data Pipelines with Apache Airflow vă învață cum să simplificați și să automatizați conductele de date, să reduceți cheltuielile operaționale și să integrați fără probleme toate tehnologiile din stiva dumneavoastră.

Achiziționarea cărții tipărite include o carte electronică gratuită în format PDF, Kindle și ePub de la Manning Publications.

Despre tehnologie

Conductele de date gestionează fluxul de date de la colectarea inițială până la consolidare, curățare, analiză, vizualizare și altele. Apache Airflow oferă o platformă unică pe care o puteți utiliza pentru proiectarea, implementarea, monitorizarea și întreținerea conductelor de date. Interfața sa de utilizator ușor de utilizat, opțiunile plug-and-play și scripturile Python flexibile fac ca Airflow să fie perfect pentru orice sarcină de gestionare a datelor.

Despre carte

Data Pipelines with Apache Airflow vă învață cum să construiți și să mențineți conducte de date eficiente. Veți explora cele mai comune modele de utilizare, inclusiv agregarea mai multor surse de date, conectarea la și de la lacurile de date și implementarea în cloud. Parte referință și parte tutorial, acest ghid practic acoperă fiecare aspect al grafurilor aciclice direcționate (DAG) care alimentează Airflow și cum să le personalizați pentru nevoile conductei dvs.

Ce conține

Construiți, testați și implementați conductele Airflow ca DAG-uri.

Automatizați mutarea și transformarea datelor.

Analizați seturi de date istorice utilizând backfilling.

Dezvoltați componente personalizate.

Configurați Airflow în medii de producție.

Despre cititor

Pentru DevOps, ingineri de date, ingineri de învățare automată și administratori de sistem cu cunoștințe medii de Python.

Despre autor

Bas Harenslak și Julian de Ruiter sunt ingineri de date cu o vastă experiență în utilizarea Airflow pentru a dezvolta conducte pentru companii importante. Bas este, de asemenea, un committer Airflow.

Tabla de conținut

PARTEA 1 - INIȚIERE.

1 Faceți cunoștință cu Apache Airflow.

2 Anatomia unui DAG Airflow.

3 Programarea în Airflow.

4 Modelarea sarcinilor utilizând contextul Airflow.

5 Definirea dependențelor între sarcini.

PARTEA 2 - DINCOLO DE ELEMENTELE DE BAZĂ.

6 Declanșarea fluxurilor de lucru.

7 Comunicarea cu sisteme externe.

8 Construirea de componente personalizate.

9 Testare.

10 Executarea sarcinilor în containere.

PARTEA 3 - FLUXUL DE AER ÎN PRACTICĂ.

11 Cele mai bune practici.

12 Operarea Airflow în producție.

13 Securizarea Airflow.

14 Proiect: Găsirea celei mai rapide modalități de deplasare în NYC.

PARTEA 4 - ÎN NORI.

15 Airflow în nori.

16 Airflow pe AWS.

17 Airflow pe Azure.

18 Airflow în GCP.