Érvényesség, megbízhatóság és jelentőség: Empirikus módszerek az Nlp és az adattudomány számára

Eredeti címe:

Validity, Reliability, and Significance: Empirical Methods for Nlp and Data Science

Könyv tartalma:

Az empirikus módszerek az empirikus tudományok módszertani kérdéseinek statisztikai módszerekkel történő megválaszolására szolgáló eszközök. A könyvben tárgyalt módszertani kérdések közé tartoznak az érvényesség, a megbízhatóság és a szignifikancia problémái. A gépi tanulás esetében ezek annak a kérdésnek felelnek meg, hogy egy modell azt jósolja-e, amit állítólagosan jósol, hogy egy modell teljesítménye konzisztens-e a replikációk között, illetve hogy két modell teljesítménye közötti különbség a véletlen műve-e, illetve hogy a két modell közötti teljesítménykülönbség a véletlen műve-e. A könyv célja, hogy ezekre a kérdésekre olyan konkrét statisztikai tesztekkel adjon választ, amelyek az NLP és az adattudomány területén alkalmazhatóak az adatok annotációjának és a gépi tanulás előrejelzésének érvényességének, megbízhatóságának és szignifikanciájának értékelésére.

A hangsúlyt a modellalapú empirikus módszerekre helyezzük, ahol az adatmegjelöléseket és a modelljóslásokat az általánosított additív modellek (GAM) és a lineáris vegyes hatású modellek (LMEM) jól ismert családjából származó, értelmezhető valószínűségi modellek képzési adataként kezeljük. A könyv a képzett GAM-ok vagy LMEM-ek értelmezhető paraméterei alapján modellalapú statisztikai teszteket mutat be, például egy érvényességi tesztet, amely lehetővé teszi a tanulást megkerülő körkörös jellemzők felderítését. Továbbá a könyv tárgyalja a megbízhatósági együtthatót az LMEM-ek véletlen hatásparaméterein alapuló varianciabontás segítségével. Végül pedig egy szignifikancia tesztet mutat be, amely két gépi tanulási modell teljesítménypontszámain képzett, egymásba ágyazott LMEM-ek valószínűségi arányán alapul, és amely természetesen lehetővé teszi a metaparaméter-beállítások variációinak hipotézisvizsgálatba való bevonását, és továbbá megkönnyíti a bemeneti adatok tulajdonságaitól függő, kifinomult rendszer-összehasonlítást.

Ez a könyv bevezetésként használható a gépi tanulás empirikus módszereihez általában, különös tekintettel az NLP és az adattudomány alkalmazásaira. A könyv önálló, a GAM-ok és LMEM-ek matematikai hátteréről szóló függelékkel, valamint egy kísérő weboldallal, amely R-kódot tartalmaz a könyvben bemutatott kísérletek megismétléséhez.