• A neurális hálók megtanulják, mire emlékezzenek, és mit felejthetnek el
  • A hasznos és haszontalan információk szűrése a gépek számára is fontos képesség
  • Emlékezni tanítják a gépeket
Ténygyár-tartalom
8 percnyi olvasnivaló

A memória értékes erőforrás, és nem csak az embereknél. Bár mi úgy fejlődtünk az idők során, hogy tudjuk, mire kell emlékeznünk, és mi az, amit elfelejthetünk, eljött a gépek ideje is ennek elsajátítására.

A deep learning („mélytanulás”) megváltoztathatja azt, ahogyan a gépekről gondolkodunk, és azt is, mire használhatjuk őket. Már jelenleg is leköröznek minket bizonyos feladatokban: a sakktól egészen az arc- és tárgyfelismerésig. De a gépi tanulás számos aspektusa így is elmarad az emberi teljesítménytől. Különösen attól a képességünktől, hogy folyamatosan frissítjük az emlékeinket, és képesek vagyunk felülírni a mindig aktuálisan legfontosabb tudással, hogy amire már nincs szükség a túlélés szempontjából, ne foglalja a „tárhelyet”.

Mivel a világ egy soha véget nem érő adatforrást biztosít, mi pedig korlátozott memóriával rendelkezünk, így kénytelenek vagyunk szelektálni a hasznos és kevésbé hasznos információk között. Ez egy fontos képesség, amit az evolúció során fejlesztettünk ki magunknak.

A gépekről nem mondható el ugyanez. Náluk minden megtanult képesség felülíródik, függetlenül attól, hogy mennyire fontos. Jelenleg nincs olyan megbízható mechanizmus, amellyel egy gép képes lenne arról dönteni, hogy mire kell emlékeznie, és mi az, amit elfelejthet.

Rahaf Aljundi és munkatársai – a belgiumi Leuven Egyetem és a Facebook AI Research keretei között végzett – munkájának köszönhetően ez megváltozni látszik. Ezek a tudósok ugyanis kimutatták, hogy a biológiai tanulás folyamata a mesterséges neurális hálózatoknál is működhet. Ehhez a kulcs egy olyan folyamat, amit Hebb-féle tanulásnak neveznek. A kanadai pszichológus, Donald Hebb az 1940-es években magyarázta el az úgynevezett szinaptikus plaszticitáson keresztül, hogyan tanul az agy. Hebb elmélete röviden úgy foglalható össze, hogy „a sejtek, amelyek egymásra tüzelnek, egymással is kapcsolódnak” (angolul frappánsabb: “Cells that fire together wire together”). Más szavakkal: az idegsejtek közötti kapcsolatok erősebbé válnak, ha együtt tüzelnek, ezért ezeket a kapcsolatokat nehezebb megszakítani. Így tanulunk – a neuronok ismételt szinkronizált tüzelése erősíti köztük a kapcsolatot, és nehezebbé teszi a felülírást.

Aljundi és társai kifejlesztettek egy olyan módszert, amelynek révén a mesterséges neurális hálózatok is képessé válnak erre. A tudósok mérni kezdték a neurális hálózatok kimeneteit, és megfigyelték, milyen érzékenyek a hálózaton belüli kapcsolatok változásaira. Ezek adnak nekik jelet: mely hálózati paraméterek a legfontosabbak, melyeket kell eltárolni. „Amikor új feladatot tanulnak, a fontosabb paraméterek felülírása szankcionálva van” – mondja a csapat. Az így létrejövő hálózatnak van „emlékező szinapszisa”.

Elképzelésüket tesztekkel is ellenőrizték, amelynek során a neurális hálózatot kiképezték egy feladatra, majd olyan adatot adtak neki, ami más feladat elvégzését tanította be. Például megtanították virágok felismerésére, majd madarakéra, aztán újra virágokat mutattak, hogy kiderüljön, mennyit tároltak el azokból az adatokból. Az emlékező szinapszisokkal rendelkező neurális hálózatok jobban teljesítettek ezeken a teszteken, mint más hálózatok.

A lényeg azonban az, hogy a csapat megtalálta a neurális hálózatok számára a Hebb-féle tanulás alkalmazását. Ez kihat a gépi tanulás jövőjére. Ha tudósaink tovább tudják fejleszteni a Hebb-féle tanulás neurális hálókra is alkalmazható verzióját, annak rugalmasabbá kell tennie a gépek tanulását. Ez pedig lehetővé teheti számukra, hogy jobban alkalmazkodjanak a való világhoz.

Ez a cikk is érdekelhet

Mit kell tanulni ahhoz,
hogy a világot irányítsd?

Jogász, közgazdász, katona vagy bölcsész – a világ vezetői igen különböző végzettséggel re…