Adatfeldolgozás az Optimusszal: Nagy adatelőkészítési feladatok felturbózása analitikához és gépi tanuláshoz Optimus segítségével Dask és PySpark használatával

Olvasói vélemények

A könyvet a Pandas és az Optimus használatával történő adatfeldolgozás átfogó lefedettségéért dicsérik, így értékes forrás mind a kezdők, mind a tapasztalt adatszakemberek számára. Egyszerűsíti az összetett adatfeladatokat és növeli a munkafolyamatok hatékonyságát.

Részletes útmutatást nyújt a Pandas és az Optimus segítségével történő adatelőfeldolgozáshoz.

Kiválóan alkalmas az adatkezelés és -átalakítás elsajátítására és felgyorsítására.

(4 olvasói vélemény alapján)

Eredeti címe:

Data Processing with Optimus: Supercharge big data preparation tasks for analytics and machine learning with Optimus using Dask and PySpark

Könyv tartalma:

Ez az Optimus csapat által írt átfogó útmutató segít megérteni, hogyan javítja az Optimus az adatfeldolgozás egészét.

Főbb jellemzők:

⬤ Töltsön be, egyesítsen és mentsen hatékonyan kis és nagy adatokat az Optimus segítségével.

⬤ Tanulja meg az Optimus funkcióit az adatelemzéshez, a feature engineeringhez, a gépi tanuláshoz, a kereszt-validáláshoz és az NLP-hez.

⬤ Fedezze fel, hogyan javítja az Optimus más adatkeret-technológiákat, és hogyan segít felgyorsítani az adatfeldolgozási feladatokat.

Könyv leírása:

Az Optimus egy Python könyvtár, amely egységes API-ként működik az adattisztításhoz, adatfeldolgozáshoz és adatösszevonáshoz. Használható kis és nagy adatok kezelésére helyi laptopon vagy távoli, CPU-kat vagy GPU-kat használó fürtökön.

A könyv az Optimus belső felépítésével kezdődik, és azzal, hogyan működik együtt a meglévő technológiákkal az adatfeldolgozási igények kiszolgálása érdekében. Ezután megtanulja, hogyan használhatja az Optimust adatok betöltésére és mentésére szöveges adatformátumokból, például CSV- és JSON-fájlokból, bináris fájlok, például az Excel feltárására, valamint oszlopos adatfeldolgozásra a Parquet, Avro és OCR segítségével. Ezután megismerkedik a profilerrel és az adattípusokkal - az Optimus Dataframe egyedülálló funkciójával, amely az adatminőséget segíti. Látni fogja, hogyan használja az Optimusban elérhető ábrákat, például a hisztogramot, a gyakorisági diagramokat, valamint a szórás- és dobozábrákat, és megérti, hogyan lehet az Optimus segítségével olyan könyvtárakhoz csatlakozni, mint a Plotly és az Altair. Elmélyedhet az olyan fejlett alkalmazásokban is, mint a feature engineering, a gépi tanulás, a kereszt-validálás és a természetes nyelvi feldolgozási funkciók, és felfedezheti az Optimus fejlesztéseit. Végül megtanulja, hogyan hozhat létre adattisztító és transzformációs függvényeket, és hogyan adhat hozzá egy hipotetikus új adatfeldolgozó motort az Optimus segítségével.

A könyv végére képes lesz arra, hogy az Optimus segítségével könnyedén javítsa adattudományi munkafolyamatát.

Mit fog tanulni:

⬤ Több mint 100 adatfeldolgozási függvényt használhat oszlopok és más sztringszerű értékek felett.

⬤ Az adatok átformálása és pivotolása, hogy a kimenetet a kívánt formátumban kapja meg.

⬤ Tudja meg, hogyan ábrázoljon hisztogramokat, gyakorisági diagramokat, szórásdiagramokat, dobozdiagramokat és egyebeket.

⬤ Kapcsolja össze az Optimust népszerű Python vizualizációs könyvtárakkal, mint például a Plotly és az Altair.

⬤ Alkalmazza a string klaszterezési technikákat a stringek normalizálásához.

⬤ Fedezzen fel funkciókat a rossz minőségű adatok feltárására, javítására és eltávolítására.

⬤ Használjon fejlett technikákat a kiugró értékek eltávolítására az adatokból.

⬤ Adjon hozzá motorokat és egyéni függvényeket az adatok tisztításához, feldolgozásához és egyesítéséhez.

Kinek szól ez a könyv:

Ez a könyv azoknak a Python-fejlesztőknek szól, akik nagy adatokat szeretnének feltárni, átalakítani és előkészíteni gépi tanuláshoz, analitikához és jelentéskészítéshez az Optimus, a Pandas, Dask, cuDF, Dask-cuDF, Vaex és Spark egységes API segítségével. Bár nem szükséges, a Python kezdő szintű ismerete hasznos lesz. Az Optimus telepítéséhez és követelményeihez a CLI alapszintű ismerete szükséges. A GPU-technológiák használatához NVIDIA grafikus kártyára lesz szükség, amely kompatibilis az NVIDIA RAPIDS könyvtárával, amely kompatibilis a Windows 10 és a Linux rendszerrel.