Eredeti címe:
Distributed Optimization and Statistical Learning Via the Alternating Direction Method of Multipliers
Könyv tartalma:
A statisztika és a gépi tanulás számos, a közelmúltban felmerült problémája felvethető a konvex optimalizálás keretében.
A modern adathalmazok méretének és komplexitásának robbanásszerű növekedése miatt egyre fontosabb, hogy nagyon nagy számú jellemzővel vagy gyakorló példával rendelkező problémákat is meg tudjunk oldani. Ennek eredményeképpen mind ezen adathalmazok decentralizált gyűjtése vagy tárolása, mind a kísérő elosztott megoldási módszerek szükségesek vagy legalábbis nagyon kívánatosak.
Az elosztott optimalizálás és statisztikai tanulás a szorzók váltakozó irányú módszerével című könyv azt állítja, hogy a szorzók váltakozó irányú módszere jól alkalmazható az elosztott konvex optimalizáláshoz, és különösen a statisztikában, a gépi tanulásban és a kapcsolódó területeken felmerülő nagyméretű problémákhoz. A módszert az 1970-es években fejlesztették ki, gyökerei az 1950-es évekig nyúlnak vissza, és számos más algoritmussal egyenértékű vagy szorosan kapcsolódik, mint például a duális dekompozíció, a szorzók módszere, a Douglas-Rachford-féle felosztás, a Spingarn-féle részleges inverzek módszere, a Dykstra-féle váltakozó irányú vetületek, a Bregman-féle iteratív algoritmusok ℓ. 1 problémák, proximális módszerek és mások.
Az algoritmus elméletének és történetének rövid áttekintése után az algoritmus alkalmazásait tárgyalja a közelmúltban felmerült statisztikai és gépi tanulási problémák széles skáláján, beleértve a lasszót, a ritka logisztikus regressziót, a báziskövetést, a kovarianciaválasztást, a támogató vektorgépeket és sok mást. Kitér továbbá az általános elosztott optimalizálásra, a nemkonvex környezetre való kiterjesztésekre és a hatékony megvalósításra, beleértve néhány részletet az elosztott MPI és Hadoop MapReduce megvalósításokról.
