A mesterséges intelligencia (AI) egyre okosabbnak tűnik. Minden egyes iPhone jobban megtanulja az arcunkat, a hangunkat és a szokásainkat, mint az előző, és az AI egyre nagyobb veszélyt jelent a magánéletre és a munkahelyekre. A hullámzás a gyorsabb chipeket, a több adatot és a jobb algoritmusokat tükrözi. De a javulás egy része inkább finomításokból származik, mint a feltalálóik által állított alapvető innovációkból – és a nyereség egy része talán nem is létezik, mondja Davis Blalock, a Massachusetts Institute of Technology (MIT) informatika szakos hallgatója. Blalock és kollégái több tucat megközelítést hasonlítottak össze a neurális hálózatok – az agyat lazán utánzó szoftverarchitektúrák – fejlesztésére. “Ötven dolgozatban” – mondja – “világossá vált, hogy nem volt egyértelmű, hogy egyáltalán mi a technika jelenlegi állása.”
A kutatók 81 metszési algoritmust értékeltek, olyan programokat, amelyek a nem szükséges kapcsolatok megnyirbálásával teszik hatékonyabbá a neurális hálózatokat. Mindegyik kissé eltérő módon állította a felsőbbrendűséget. De ritkán hasonlították össze őket megfelelően – és amikor a kutatók megpróbálták őket egymás mellett értékelni, nem volt egyértelmű bizonyíték a teljesítményjavulásra 10 év alatt. A márciusban a Machine Learning and Systems konferencián bemutatott eredmény meglepte Blalock doktori tanácsadóját, az MIT informatikusát, John Guttagot, aki szerint maguk az egyenlőtlen összehasonlítások magyarázhatják a stagnálást. “Ez a régi fűrész, ugye?” Guttag azt mondta. “Ha valamit nem tudsz mérni, nehéz jobbá tenni.”
A kutatók a mesterséges intelligencia számos részterületén ébredeznek a bizonytalan fejlődés jeleire. A keresőmotorokban használt információkeresési algoritmusok 2019-es metaanalízise arra a következtetésre jutott, hogy a “csúcspontot … valójában 2009-ben állították be”. Egy másik 2019-es tanulmány hét neurális hálózati ajánlórendszert reprodukált, olyat, amilyet a média streaming szolgáltatások használnak. Megállapította, hogy hat nem tudta felülmúlni az évekkel korábban kifejlesztett, sokkal egyszerűbb, nem neurális algoritmusokat, amikor a korábbi technikákat finomhangolták, ami “fantomfejlődésről” árulkodik a területen. Az arXiv-on márciusban közzétett másik tanulmányában Kevin Musgrave, a Cornell Egyetem informatikusa a veszteségfüggvényeket vizsgálta, vagyis az algoritmus azon részét, amely matematikailag meghatározza az algoritmus célját. Musgrave egy tucatnyi ilyen függvényt hasonlított össze egyenrangúan egy képkeresési feladatban, és azt találta, hogy a fejlesztők állításaival ellentétben a pontosság 2006 óta nem javult. “Mindig is voltak ezek a hype-hullámok” – mondja Musgrave.
A gépi tanulási algoritmusok javulása származhat az architektúra, a veszteségfüggvény vagy az optimalizálási stratégia alapvető változásaiból – hogyan használják a visszajelzéseket a javuláshoz. De ezek bármelyikének finom módosításai is növelhetik a teljesítményt, mondja Zico Kolter, a Carnegie Mellon Egyetem informatikusa, aki olyan képfelismerő modelleket tanulmányoz, amelyeket úgy képeztek ki, hogy immunisak legyenek egy hacker “ellenséges támadásaira”. Úgy tűnt, hogy egy korai ellenséges tréningmódszert, a projected gradient descent (PGD) nevű módszert, amelyben egy modellt egyszerűen valódi és megtévesztő példákon egyaránt betanítanak, felülmúlták az összetettebb módszerek. Egy februári arXiv-publikációban azonban Kolter és kollégái azt találták, hogy az összes módszer nagyjából ugyanúgy teljesített, amikor egy egyszerű trükkel továbbfejlesztették őket.
Old dogs, new tricks
A régi képkereső algoritmusok szerény módosítások után ugyanolyan jól teljesítenek, mint az újak, ami kevés tényleges innovációra utal.
“Nagyon meglepő volt, hogy ezt még nem fedezték fel korábban” – mondja Leslie Rice, Kolter doktorandusza. Kolter szerint eredményei azt sugallják, hogy a PGD-hez hasonló újítások nehezen jönnek létre, és ritkán javulnak érdemben. “Elég egyértelmű, hogy a PGD valójában csak a megfelelő algoritmus” – mondja. “Ez a nyilvánvaló dolog, és az emberek túlságosan összetett megoldásokat akarnak találni.”
Úgy tűnik, hogy más jelentős algoritmikus fejlesztések is kiállták az idő próbáját. A nagy áttörést 1997-ben a hosszú rövid távú memória (LSTM) nevű architektúra hozta meg, amelyet a nyelvi fordításban használnak. Megfelelő betanítás esetén az LSTM-ek megfeleltek a 2 évtizeddel később kifejlesztett, feltételezhetően fejlettebb architektúrák teljesítményének. Egy másik gépi tanulási áttörés 2014-ben jött el a generatív adverzális hálózatokkal (GAN), amelyek a hálózatokat egy létrehozási és kritikai ciklusban párosítják, hogy élesítsék például a képek előállítására való képességüket. Egy 2018-as tanulmány arról számolt be, hogy elegendő számítással az eredeti GAN-módszer megfelel a későbbi évek módszereinek képességeinek.
Kolter szerint a kutatókat jobban motiválja egy új algoritmus előállítása és addig való finomhangolása, amíg az a legkorszerűbb nem lesz, mint egy meglévő algoritmus hangolása. Ez utóbbi kevésbé tűnhet újszerűnek, jegyzi meg, így “sokkal nehezebb lesz belőle papírt szerezni.”
Guttag szerint egy algoritmus feltalálói számára is visszatartó erővel jár, hogy alaposan összehasonlítsák a teljesítményét másokéval – csak hogy aztán kiderüljön, hogy az áttörésük nem az, aminek gondolták. “A túl alapos összehasonlításnak megvan a kockázata”. Emellett ez kemény munka is: Az AI-kutatók különböző adatkészleteket, hangolási módszereket, teljesítménymérőket és alapértékeket használnak. “Egyszerűen nem igazán kivitelezhető az almák összehasonlítása.”
A teljesítményre vonatkozó túlzó állítások egy része a terület robbanásszerű növekedésének tudható be, ahol a publikációk száma meghaladja a tapasztalt bírálókét. “Úgy tűnik, hogy ez nagyrészt a növekedési fájdalmakból adódik” – mondja Blalock. Arra ösztönzi a bírálókat, hogy ragaszkodjanak a referenciaértékekkel való jobb összehasonlításhoz, és szerinte a jobb eszközök segíteni fognak. Az év elején Blalock társszerzője, Jose Gonzalez Ortiz, az MIT kutatója kiadta a ShrinkBench nevű szoftvert, amely megkönnyíti a metszési algoritmusok összehasonlítását.
A kutatók rámutatnak, hogy még ha az új módszerek alapvetően nem is jobbak a régieknél, az általuk végrehajtott finomítások alkalmazhatók az elődeikre. És néha-néha egy-egy új algoritmus valódi áttörést jelent. “Ez majdnem olyan, mint egy kockázati tőkeportfólió” – mondja Blalock – “ahol néhány vállalkozás nem igazán működik, de néhány látványosan jól működik.”