Egy friss kutatás által létrehoztak egy rendszert, ami szöveggé képes átkonvertálni az agyi tevékenységeket. Kanyarban volna a gondolatolvasás?
A Texasi Egyetem idegtudósainak olyasvalami sikerült, ami még senkinek: létrehoztak egy rendszert, amely képes az agy tevékenységét szövegfolyamba átírni. A Nature Neuroscience szaklapban megjelent tanulmányukban azt írják, hogy képesek voltak dekódolni a nem invazív agyi szkennelések adatait, és ezek segítségével rekonstruálni a nyelvezetet és történeteket, amelyeket az emberek hallottak, láttak vagy akár elképzeltek.
A technológia, amely képes agyi jelekből szöveget létrehozni, afféle „beszéddekódereket“ használ – ezek eddig csak az agyba műtéti úton beültetett eszközökkel működtek. Más korábbi dekóderek ezzel szemben az agyi aktivitás nem invazív felvételeit használták, egyes szavakat vagy rövid mondatokat tudtak dekódolni, viszont összefüggő nyelvet nem.
„Nincs jogsim“ -> „Nem tanulok vezetni“
A kutatásban tudósok a funkcionális mágneses rezonanciavizsgálat (fMRI) jeleivel dolgoztak, amelyek a vér oxigénszintjétől függenek. Az fMRI a véráramlás és az oxigénszint változásait mutatja az agy különböző részein.
1/5 Mind Reading Possible With AI?
— Prompt Master - Prompt Engineering (@promptmaster_) May 3, 2023
Non-invasive mind-reading is now possible through AI, thanks to a decoder that translates brain activity into text.
Developed by a team of scientists led by Dr. Alexander Huth from the University of Texas at Austin pic.twitter.com/XoYNwTtVrv
Minden résztvevő befeküdt az fMRI-szkennerbe, és 16 órán keresztül különböző sztorikat hallgatott, a kutatók pedig eközben rögzítették az agyi reakciókat. Ezeket aztán arra használták, hogy betanítsanak egy kódolót, egy olyan számítási modellt, amely megpróbálja megjósolni, hogyan reagál az agy bizonyos szavakra. Az ellenkező megközelítés – az agy tartalmának szavakká való átírása – azonban nehezebbnek bizonyult.
Ennek érdekében a kutatók úgy tervezték meg a technológiát, hogy az agyi válaszokat a szemantikai tulajdonságokhoz, azaz a szavak és mondatok tág értelemben vett jelentéséhez kapcsolják. Ehhez a rendszer az eredeti GPT nyelvi modellt használja, amely a mai GPT-4 modell elődje.
A betanítás után a kódoló olyan szósorozatokat generált, amelyek nagyon jól érzékeltették a történetek általános lényegét, és néhány esetben pontos szavakat és kifejezéseket tartalmaztak. A kutatók a résztvevőkkel némafilmeket is nézettek, és elképzelték a történeteket, a dekódoló pedig többször is meg tudta határozni a történetek lényegét.
Az egyik alany például arra gondolt, hogy „még nincs meg a jogosítványom“, a dekóder pedig azt írta, hogy „még el sem kezdtem vezetni tanulni“. A tényleges és a dekódolt gondolatok összehasonlítása egyébként itt megtalálható.
Nem tökéletes a rendszer
Az fMRI-adatok használatának egyik korlátja az időben keresendő. A jel, amely a vér oxigénszintjétől függ, körülbelül 10 másodperc alatt emelkedik és csökken, ennyi idő alatt az ember 20 vagy több szót is hallhat. Ennek következtében ez a technika csak a szavak sorozatának lehetséges jelentését érzékeli, mintsem az egyes szavakat.
Ráadásul ahhoz, hogy a jelzések a lehető legpontosabbak legyenek, több agyterületről – a beszéd hálózatból, a parietális-temporális-okcipitális területről és a prefrontális kéregből – származó adatokra van szükség.
A gondolatolvasás még nem jelent fenyegetést
Azt, hogy tulajdonképpen kvázi „gondolatolvasó“ technológiák fejlődnek, a Svájci Szövetségi Technológiai Intézet tudósainak legújabb kutatása bizonyítja. Olyan új gépi tanulási algoritmust fejlesztettek ki, amely képes az agyi jeleket videókká alakítani.
Ehhez olyan mesterséges intelligenciát használtak, amely egy laboratóriumi egér agyát „olvasta“, miközben az egy videoklipet nézett, ezeket a jeleket pedig a látókéreg egy területére behelyezett elektródaszondákkal mérte. Az algoritmus ezután pontosan megadta, hogy az egér milyen képkockasorozatot nézett.
A The Conversation szerint egyelőre nagyon valószínűtlen, hogy a gondolatainkat akaratunk ellenére olvasni fogják. A folyamathoz ugyanis a résztvevő együttműködésére van szükség, hiszen az alany könnyen megzavarhatja a dekódolást például azzal, hogy figyelmét valami másra irányítja át.
