Adatvezetékek az Apache Airflow segítségével

Olvasói vélemények

A könyv az Apache Airflow megismeréséhez és használatához szükséges átfogó forrásként erősen ajánlott, mivel mind az alapvető, mind a haladó témákat hatékonyan tárgyalja. A szerkezet lehetővé teszi az olvasók számára az alapok gyors elsajátítását, miközben a tapasztalt szakemberek számára is mélyreható információkat nyújt. Megjegyezték azonban, hogy a biztonsággal kapcsolatos megbeszélések egy későbbi részre halasztódnak, amit néhány olvasó aggasztónak talál.

Részletes magyarázatok, a legjobb gyakorlatokat is tartalmazza, adaptálható kódpéldák, az alapokat és a haladó témákat egyaránt lefedi, jól megírt és strukturált, kiválóan alkalmas mind a kezdők, mind a tapasztalt felhasználók számára, gyakorlatias recepteket és életszerű példákat tartalmaz, remek referenciaként szolgál.

A biztonsági témákkal a könyv későn foglalkozik (322. oldal), egyes olvasók úgy érzik, hiányoznak belőle a munkahelyi alkalmazásokra vonatkozó azonnali gyakorlati tippek.

(12 olvasói vélemény alapján)

Eredeti címe:

Data Pipelines with Apache Airflow

Könyv tartalma:

Az Adatcsatornák az Apache Airflow-val megtanítja, hogyan kell hatékony adatcsatornákat létrehozni és karbantartani.

Összefoglaló

Egy sikeres csővezeték hatékonyan mozgatja az adatokat, minimalizálja a feladatok közötti szüneteket és blokkolásokat, minden folyamatot működésben tartva az út mentén. Az Apache Airflow egyetlen testreszabható környezetet biztosít az adatvezetékek építéséhez és kezeléséhez, kiküszöbölve az eszközök, a hópehelykód és a saját fejlesztésű folyamatok kusza gyűjteményének szükségességét. A Data Pipelines with Apache Airflow valós forgatókönyvek és példák segítségével megtanítja, hogyan egyszerűsítheti és automatizálhatja az adatvezetékeket, csökkentheti a működési költségeket, és hogyan integrálhatja zökkenőmentesen a stack összes technológiáját.

A nyomtatott könyv megvásárlása magában foglalja a Manning Publications ingyenes e-könyvét PDF, Kindle és ePub formátumban.

A technológiáról

Az adatvezetékek kezelik az adatáramlást a kezdeti gyűjtéstől a konszolidáláson, tisztításon, elemzésen, vizualizáción keresztül. Az Apache Airflow egyetlen platformot biztosít, amelyet a pipelinek megtervezéséhez, megvalósításához, felügyeletéhez és karbantartásához használhat. A könnyen használható felhasználói felület, a plug-and-play opciók és a rugalmas Python szkriptelés teszi az Airflowt tökéletessé bármilyen adatkezelési feladathoz.

A könyvről

Az Adatcsatornák az Apache Airflow-val megtanítja, hogyan kell hatékony adatcsatornákat létrehozni és karbantartani. Felfedezi a leggyakoribb felhasználási mintákat, beleértve a több adatforrás aggregálását, az adattavakhoz való csatlakozást és az adattavakból való csatlakozást, valamint a felhőalapú telepítést. Ez a gyakorlatias útmutató, amely részben referencia, részben oktatóanyag, az Airflowt működtető irányított aciklikus gráfok (DAG) minden aspektusával foglalkozik, valamint azzal, hogy hogyan igazíthatja őket a csővezeték igényeihez.

Mi van benne?

Építsen, teszteljen és telepítsen Airflow csővezetékeket DAG-ként.

Automatizálja az adatok mozgatását és átalakítását.

Elemezzen historikus adathalmazokat a visszatöltés segítségével.

Egyéni komponensek fejlesztése.

Állítsa be az Airflowt termelési környezetben.

Az olvasóról

DevOps, adatmérnökök, gépi tanulási mérnökök és rendszergazdák számára, akik középfokú Python-ismeretekkel rendelkeznek.

A szerzőről

Bas Harenslak és Julian de Ruiter adatmérnökök, akik széleskörű tapasztalattal rendelkeznek az Airflow használatával a nagyvállalatok pipeline-fejlesztésében. Bas egyben Airflow committer is.

Tartalomjegyzék

1. RÉSZ - A KEZDETEK.

1 Ismerje meg az Apache Airflowt.

2 Egy Airflow DAG anatómiája.

3 Ütemezés az Airflowban.

4 Feladatok ütemezése az Airflow-kontextus használatával.

5 A feladatok közötti függőségek meghatározása.

2. RÉSZ - AZ ALAPOKON TÚL.

6 Munkafolyamatok indítása.

7 Kommunikáció külső rendszerekkel.

8 Egyedi komponensek építése.

9 Tesztelés.

10 Feladatok futtatása konténerekben.

3. RÉSZ - LÉGÁRAMLÁS A GYAKORLATBAN.

11 Legjobb gyakorlatok.

12 Az Airflow üzemeltetése termelésben.

13 Az Airflow biztosítása.

14 Projekt: A leggyorsabb útkeresés NYC-ben.

4. RÉSZ - A FELHŐKBEN.

15 Airflow a felhőkben.

16 Airflow az AWS-en.

17 Airflow az Azure-on.

18 Airflow a GCP-ben.