Learning PySpark: Helyi adatintenzív alkalmazások készítése és méretarányos telepítése a Python és a Spark 2.0 kombinált erejével

Olvasói vélemények

A Sparkról és a PySparkról szóló könyv bevezető jellegű ismereteket nyújt a különböző témákról, de a példákból hiányzik a mélység és a teljesség, ami gyakran frusztráló élményt nyújt az olvasóknak. Bár széleskörű, újoncok számára is megfelelő áttekintést nyújt, a hiányosságok pótlásához további forrásokra és erőfeszítésre van szükség.

⬤ Barátságos hangvételű és jó a Spark újonnan érkezőknek.
⬤ A témák széles skáláját öleli fel, beleértve az adatszerkezeteket és a gépi tanulást.
⬤ Tartalmaz példakódokat, amelyek segíthetik a tanulást.
⬤ Jó kiindulópont az alapfogalmak megértéséhez.

⬤ A példák gyakran hiányosak vagy külső forrásokat igényelnek a teljes megértéshez, így nehezen használható önálló útmutatóként.
⬤ A viták nem elég mélyek; sok témát csak felületesen tárgyal.
⬤ A kódpéldák nem működnek a dobozból, és hiányzik a szükséges kontextus.
⬤ Egyes szakaszok rossz szervezése és oldalszámozása kihívást jelent az olvasás szempontjából.
⬤ Általában kapkodónak vagy a koherens struktúra hiányának tűnik.

(10 olvasói vélemény alapján)

Eredeti címe:

Learning PySpark: Build data-intensive applications locally and deploy at scale using the combined powers of Python and Spark 2.0

Könyv tartalma:

Építsen adatintenzív alkalmazásokat helyben, és telepítse méretarányosan a Python és a Spark 2 együttes erejével. 0 A könyvről - Ismerje meg, miért és hogyan használhatja hatékonyan a Pythont az adatok feldolgozására és gépi tanulási modellek készítésére az Apache Spark 2-ben.

0 - Hatékony, skálázható, valós idejű Spark-megoldások fejlesztése és telepítése - A Spark és a Python használatának megértése a következő szintre léphet ezzel az útmutatóval Kihez szól ez a könyv Ha Ön Python-fejlesztő, aki szeretné megismerni az Apache Spark 2. 0 ökoszisztémát, ez a könyv Önnek szól. A Python nyelv biztos ismerete elvárás ahhoz, hogy a könyvből a lehető legtöbbet hozhassa ki.

A Spark ismerete hasznos lenne, de nem kötelező.

Amit tanulni fog - Ismerje meg az Apache Sparkot és a Spark 2. 0 architektúrát - Spark DataFrames építése és interakciója a Spark SQL segítségével - Megtanulja, hogyan oldhat meg gráf- és mélytanulási problémákat GraphFrames, illetve TensorFrames segítségével - Adatok olvasása, transzformálása és megértése, valamint felhasználása gépi tanulási modellek betanítására - Gépi tanulási modellek építése az MLlib és az ML segítségével - Megtanulja, hogyan küldheti be programozottan az alkalmazásait a spark-submit segítségével - Helyileg épített alkalmazások telepítése egy fürtbe Részletesen Az Apache Spark egy nyílt forráskódú keretrendszer a hatékony fürtszámításhoz, erős adatpárhuzamosítási és hibatűrési felülettel.

Ez a könyv megmutatja, hogyan használhatja ki a Python erejét, és hogyan alkalmazhatja azt a Spark ökoszisztémában. Először is meg kell ismernie a Spark 2-t. 0 architektúrájával és a Spark Python környezetének beállításával.

Megismerkedsz a PySparkban elérhető modulokkal. Megtanulod, hogyan absztrahálhatod az adatokat RDD-kkel és DataFrame-ekkel, és megérted a PySpark streaming képességeit. Emellett alapos áttekintést kap a PySpark gépi tanulási képességeiről az ML és az MLlib segítségével, a gráffeldolgozásról a GraphFrames segítségével, valamint a poliglott perszisztenciáról a Blaze segítségével.

Végül megtanulja, hogyan telepítheti alkalmazásait a felhőbe a spark-submit parancs segítségével. A könyv végére megalapozott ismereteket szerezhet a Spark Python API-ról és arról, hogyan használhatja azt adatintenzív alkalmazások készítésére.

Stílus és megközelítés Ez a könyv nagyon átfogó, lépésről lépésre történő megközelítést alkalmaz, hogy megértse, hogyan lehet a Spark ökoszisztémát Pythonnal együtt hatékony, skálázható megoldások fejlesztésére használni. Minden fejezet önálló, és nagyon könnyen érthetően van megírva, az egyes koncepciók hogyanjára és miértjére egyaránt összpontosítva.