Neirozinātnieki māca datorus lasīt vārdus tieši no cilvēku smadzenēm.
Kelly Servick, rakstot žurnālam Science, šonedēļ ziņoja par trim dokumentiem, kas tika iesūtīti pirmsdrukas serverī bioRxiv, kurā trīs dažādas pētnieku komandas parādīja, ka viņi var atšifrēt runu no neironu šaušanas ierakstiem. Katrā pētījumā tieši uz smadzenēm novietotie elektrodi reģistrēja neironu darbību, kamēr smadzeņu operācijas pacienti klausījās runu vai skaļi lasīja vārdus. Tad pētnieki mēģināja izdomāt, ko pacienti dzird vai saka. Katrā ziņā pētnieki spēja pārveidot smadzeņu elektrisko aktivitāti vismaz nedaudz saprotamos skaņas failos.
Pirmajā rakstā, kas tika publicēts bioRxiv 2018. gada 10. oktobrī, ir aprakstīts eksperiments, kurā pētnieki atskaņoja runas ierakstus pacientiem ar epilepsiju, kuri bija smadzeņu operācijas vidū. (Neironu ierakstiem, kas veikti eksperimentā, bija jābūt ļoti detalizētiem, lai tos varētu interpretēt. Un šis detalizācijas līmenis ir pieejams tikai retos gadījumos, kad smadzenes tiek pakļautas gaisam un elektrodi tiek novietoti tieši uz tiem, piemēram, smadzeņu ķirurģijā) .)
Kad pacienti klausījās skaņas failus, pētnieki reģistrēja neironus, kas šauj pacientu smadzeņu daļās, kas apstrādā skaņu. Zinātnieki izmēģināja vairākas dažādas metodes, kā pārvērst šo neironu dedzināšanas datus runā un atklāja, ka vislabāk darbojas "dziļā mācīšanās" - kurā dators mēģina atrisināt problēmu vairāk vai mazāk bez uzraudzības. Kad viņi atskaņoja rezultātus ar vokoru, kas sintezē cilvēka balsis, 11 klausītāju grupai, šie indivīdi 75 procentus laika spēja pareizi interpretēt vārdus.
Šeit varat klausīties audio no šī eksperimenta.
Otrais raksts, kas publicēts 2018. gada 27. novembrī, paļāvās uz neironu ierakstiem no cilvēkiem, kuriem tiek veikta operācija, lai noņemtu smadzeņu audzējus. Kad pacienti skaļi lasīja vienas zilbes vārdus, pētnieki ierakstīja gan skaņas, kas izdalījās no dalībnieku mutēm, gan neironus, kas šaudījās viņu smadzeņu runas veidošanas reģionos. Tā vietā, lai dziļi apmācītu datorus katram pacientam, šie pētnieki iemācīja mākslīgo neironu tīklu, lai neironu ierakstus pārveidotu audio, parādot, ka rezultāti ir vismaz saprātīgi saprotami un līdzīgi mikrofonu veiktajiem ierakstiem. (Šī eksperimenta audio ir šeit, bet tas ir jālejupielādē kā zip fails.)
Trešajā rakstā, kas ievietots 2018. gada 9. augustā, paļāvās uz smadzeņu daļas reģistrēšanu, kas pārveido konkrētus vārdus, kurus persona nolemj runāt, muskuļu kustībās. Kaut arī tiešsaistē nav pieejama neviena šī eksperimenta ieraksts, pētnieki ziņoja, ka viņi varēja rekonstruēt veselus teikumus (arī smadzeņu operācijas laikā, kas tika reģistrēts pacientiem ar epilepsiju) un ka cilvēki, kuri klausījās teikumus, spēja tos pareizi interpretēt ar vairākām izvēlēm. ieskaite (no 10 izvēlēm) 83 procenti laika. Šīs eksperimenta metodes pamatā bija atsevišķu zilbju, nevis veselu vārdu veidošanā iesaistīto modeļu identificēšana.
Visu šo eksperimentu mērķis ir kādu dienu ļaut cilvēkiem, kuri ir zaudējuši spēju runāt (amijotrofiskās laterālās sklerozes vai līdzīgu apstākļu dēļ), runāt ar datora-smadzeņu saskarni. Tomēr zinātne par šo lietojumprogrammu vēl nav pieejama.
Personas, kas iztēlojas runu, neironu modeļu interpretācija ir daudz sarežģītāka nekā to, kā interpretēt runas klausītāju vai producējoša cilvēka modeļus, ziņoja Science. (Tomēr otrā darba autori teica, ka var būt iespējams interpretēt runas iedomātā cilvēka smadzeņu darbību.)
Ir arī svarīgi atcerēties, ka šie ir mazi pētījumi. Pirmais darbs balstījās uz datiem, kas iegūti tikai no pieciem pacientiem, bet otrajā tika apskatīti seši pacienti, bet trešajā - tikai trīs pacienti. Un neviens no neironu ierakstiem neturpināja vairāk kā stundu.
Tomēr zinātne virzās uz priekšu, un mākslīgās runas ierīces, kas piestiprinātas tieši smadzenēm, kaut kādā brīdī šķiet reāla iespēja.
