Gradiens leszállás, sztochasztikus optimalizálás és más történetek

Eredeti címe:

Gradient Descent, Stochastic Optimization, and Other Tales

Könyv tartalma:

A könyv célja, hogy leleplezze és eloszlassa a black-box optimalizátorok és a sztochasztikus optimalizátorok mögötti varázslatot. Célja, hogy szilárd alapokat teremtsen arról, hogyan és miért működnek ezek a technikák.

Ez a kézirat ezt a tudást kristályosítja ki azáltal, hogy egyszerű intuíciókból levezeti a stratégiák mögötti matematikát. Ez a könyv nem zárkózik el attól, hogy a gradiens-leereszkedés és a sztochasztikus optimalizálási módszerek formális és informális aspektusait egyaránt tárgyalja. Ezáltal reméli, hogy az olvasók számára mélyebb megértést nyújt ezekről a technikákról, valamint arról, hogy mikor, hogyan és miért kell alkalmazni ezeket az algoritmusokat.

A gradiens süllyedés az egyik legnépszerűbb algoritmus az optimalizáláshoz, és messze a legelterjedtebb módja a gépi tanulási feladatok optimalizálásának. Sztochasztikus változata az utóbbi években figyelmet kap, és ez különösen igaz a mély neurális hálózatok optimalizálására.

A mély neurális hálózatokban a gradienst egyetlen minta vagy mintacsomag követésével alkalmazzák a számítási erőforrások megtakarítására és a nyeregpontokból való menekülésre. 1951-ben Robbins és Monro publikálta az A stochastic approximation method (A sztochasztikus közelítési módszer) című könyvet, amely az egyik első modern feldolgozás a sztochasztikus optimalizálásról, amely a lokális gradienseket egy új mintacsomaggal becsüli.

Mára pedig a sztochasztikus optimalizálás a gépi tanulás egyik alaptechnológiájává vált, nagyrészt a neurális hálózat illesztésében alkalmazott back propagation algoritmus kifejlesztésének köszönhetően. E cikk egyetlen célja, hogy önálló bevezetést adjon a gradienslejtés és a sztochasztikus optimalizálás fogalmaiba és matematikai eszközeibe.