Ideen entschlüsseln: Gedanken haben begonnen, sich in Text zu verwandeln

Eine Reihe von Innovationen in der Medizin wurde kürzlich durch semantischen Decoder – einen Gedankenleser ergänzt. Basierend auf künstlicher Intelligenz (KI) kann er die Gehirnaktivität in Text übersetzen und ist eine Erfindung, die erstmals das nicht-invasive Lesen der Gedanken einer Person ermöglicht. Nur mit Daten aus der funktionellen Magnetresonanztomographie, d.h. fMRI-Scans, kann er Sprache mit unglaublicher Genauigkeit rekonstruieren, während Menschen einer Geschichte zuhören oder sich still ihren Inhalt vorstellen. Frühere Sprachdecodierungssysteme erforderten chirurgische Implantate, aber dieser Decoder erhöht die Aussichten auf neue Wege, um Patienten, die aufgrund eines Schlaganfalls, der ihr Sprachzentrum schädigt, oder aufgrund von Erkrankungen der motorischen Neuronen Schwierigkeiten beim Kommunizieren haben, die Sprache wiederherzustellen.

Zu laut und zu langsam

Der Neurowissenschaftler Dr. Alexander Huth, der leitende Forscher an der Universität von Texas in Austin, der nach fünfzehn Jahren zur Entwicklung des Decoders führte, erklärte, dass alle sehr überrascht sind, wie gut der Decoder funktioniert. Diese Errungenschaft überwindet die grundlegende Einschränkung von fMRI, die darin besteht, dass, obwohl die Technik die Gehirnaktivität mit unglaublich hoher Auflösung einem bestimmten Ort zuordnen kann, es eine inhärente Zeitverzögerung gibt, die eine Echtzeitverfolgung der Aktivität verhindert. Die Verzögerung entsteht, weil fMRI-Scans die Blutflussreaktion auf die Gehirnaktivität messen, die über etwa zehn Sekunden ihren Höhepunkt erreicht und dann wieder auf den Ausgangswert zurückkehrt, was bedeutet, dass selbst der leistungsstärkste Scanner dies nicht verbessern kann. Dr. Huth bezeichnete es als ‚ein lautes und langsames Ersatz für neuronale Aktivität‘, was eine Einschränkung darstellt, die die Fähigkeit behindert hat, die Gehirnaktivität als Reaktion auf natürliche Sprache zu interpretieren, da sie ‚eine Mischung von Informationen‘ über mehrere Sekunden verteilt liefert. Die Entstehung großer Sprachmodelle, die auf künstlicher Intelligenz (KI) basieren und OpenAIs ChatGPT unterstützen, hat jedoch einen neuen Ansatz ermöglicht. Diese Modelle können die semantische Bedeutung von Sprache darstellen, sodass Wissenschaftler sehen können, welches Muster neuronaler Aktivität mit Wortfolgen mit spezifischen Bedeutungen übereinstimmt. Der Decoder wurde trainiert, die Gehirnaktivität mit der Bedeutung von Text unter Verwendung des großen Sprachmodells GPT-1, dem Vorgänger von ChatGPT, in Einklang zu bringen. Die Studie umfasste drei Freiwillige, die sechzehn Stunden im Scanner verbrachten und Podcasts hörten. Später wurden dieselben Personen gescannt, während sie einer neuen Geschichte lauschten oder sich vorstellten, eine Geschichte zu erzählen, und der Decoder wurde verwendet, um Text ausschließlich aus ihrer Gehirnaktivität zu generieren. Etwa die Hälfte der Zeit stimmte der Text fast genau mit der beabsichtigten Bedeutung der ursprünglichen Worte überein.

– Unser System arbeitet auf der Ebene von Ideen, Semantik und Bedeutung. Deshalb sind das, was wir extrahieren, keine genauen Worte, sondern das Wesentliche – sagte Dr. Huth.

Wie es liest

Wenn Teilnehmer beispielsweise den Satz ‚Ich habe immer noch keinen Führerschein.‘ vorstellten, interpretierte der Decoder ihn als ‚Er hat nicht einmal angefangen, das Fahren zu lernen.‘. In einem anderen Fall wurde der Satz ‚Ich wusste nicht, ob ich schreien, weinen oder weglaufen sollte. Stattdessen sagte ich: ‚Lass mich in Ruhe!“ als ‚Er begann zu schreien und zu weinen und sagte: ‚Lass mich in Ruhe!“ übersetzt. Während sie im Scanner waren, wurden den Freiwilligen auch vier kurze und stumme Videos gezeigt, und der Decoder, der ihre Gehirnaktivität las, beschrieb genau einen Teil des Inhalts. Der wissenschaftliche Text über den semantischen Decoder wurde in der Zeitschrift Nature Neuroscience veröffentlicht, wo Dr. Huth schrieb: ‚Für eine nicht-invasive Methode ist dies ein echter Fortschritt im Vergleich zu dem, was zuvor getan wurde.‘ Manchmal macht der Decoder Fehler beim Lesen von Gedanken, da er zwischen Pronomen und Geschlechtern nicht unterscheidet, aber die Wissenschaftler wissen immer noch nicht, wie sie dieses Problem lösen können. Eine weitere Herausforderung steht bevor – der Decoder wurde während der Forschung personalisiert, und als das Modell an einer anderen Person getestet wurde, zeigte es nicht die gleichen Ergebnisse. Obwohl noch viel Arbeit an seiner Verfeinerung vor der praktischen Anwendung zu leisten ist, denken die Wissenschaftler bereits darüber nach, wie Missbrauch verhindert werden kann. Mitautor des Decoders Jerry Tang, ein Doktorand an der Universität von Texas in Austin, erklärte, dass sie die Sorge, dass es für böswillige Zwecke verwendet werden könnte, sehr ernst nehmen.

– Wir wollen sicherstellen, dass die Menschen diese Technologie nur dann nutzen, wenn sie ihnen hilft – sagte Tang.

Gehirn-Computer-Schnittstelle

Bisher gibt es keine gespaltene wissenschaftliche Meinung über den semantischen Decoder. Zum Beispiel beschrieb der Computer-Neurowissenschaftler an der Universität Oxford, Professor Tim Behrens, der nicht an der Erfindung beteiligt war, ihn als ‚technisch äußerst beeindruckend‘ und erklärte, dass er viele experimentelle Möglichkeiten eröffnet, einschließlich des Lesens der Gedanken von jemandem, der träumt, oder der Erforschung, wie neue Ideen aus der Hintergrundaktivität des Gehirns entstehen.

—

—

– Diese generativen Modelle ermöglichen es, zu sehen, was sich im Gehirn auf einer neuen Ebene befindet. Das bedeutet, dass man wirklich etwas Tiefes aus fMRI lesen kann – sagte Behrens.

Professor Shinji Nishimoto von der Universität Osaka, ein Pionier in der Rekonstruktion visueller Bilder aus der Gehirnaktivität, beschrieb den Decoder als einen bedeutenden Fortschritt und eine Grundlage für neue Entdeckungen.

– Er hat gezeigt, dass das Gehirn kontinuierliche sprachliche Informationen während der Wahrnehmung und Vorstellung auf kompatible Weise darstellt. Diese Entdeckung könnte die Grundlage für die Entwicklung einer Gehirn-Computer-Schnittstelle sein – sagte Nishimoto.

Schlaganfallprävention

Das Forschungsteam an der Universität von Texas in Austin beabsichtigt, die Forschung fortzusetzen und zu sehen, ob sein Decoder auf andere bildgebende Verfahren des Gehirns, wie die funktionelle Nahinfrarotspektroskopie (fNIRS), angewendet werden kann. Was tatsächlich passiert und wie ein Schlaganfall die Sprache schädigt und wie seine Folgen behandelt werden, erklärt Professor Dr. Branko Malojčić, FESO, FWSO, Leiter des Tageskrankenhauses und des TIA-Zentrums am Klinischen Krankenhauszentrum Zagreb, Präsident der Europäischen Gesellschaft für Neurosonologie und zerebrale Hämodynamik (ESNCH) und Vorsitzender des Herausgeberbeirats des Bildungsportals (eSTEP) der Europäischen Schlaganfallorganisation (ESO).

– Gehirnzellen sind extrem empfindlich gegenüber reduziertem Blutfluss, d.h. der Zufuhr von Nährstoffen. Bereits etwa vier Minuten vollständiger Blutflussunterbrechung führen zum Tod (Infarkt) derjenigen, die Blut aus der betroffenen Arterie erhalten, während umliegende Zellen in einen hypoenergetischen Zustand eintreten, der dazu führt, dass sie ihre Funktion einstellen, aber mit optimaler Therapie können sie überleben. Patienten im Bereich, d.h. der Arterie, die vom Schlaganfall betroffen ist, können zwei Arten von Sprachstörungen entwickeln: Dysarthrie ist eine Störung der Sprachartikulation, die aus dem Verlust der Kontrolle über die an der Sprachproduktion beteiligten Muskeln resultiert, während Aphasie eine Störung des Verstehens oder der Produktion der Inhaltselemente der Sprache (Sprache) ist. Einfach gesagt, ein Patient mit Dysarthrie spricht undeutlich, verheddert sich in der Zunge oder stottert, während ein Patient mit Aphasie nicht versteht, was ihm gesagt wird, oder Geräusche produziert, die andere nicht als Worte verstehen – betont Professor Malojčić und hebt hervor, dass die beste Behandlung die Prävention ist, gefolgt von einer akuten Behandlung in spezialisierten Zentren (Einheiten zur Schlaganfallbehandlung).

Mögliche Genesung

Ihm zufolge reduzieren beide Methoden signifikant den Grad der Behinderung im Falle eines Schlaganfalls. Wenn Dysarthrie oder Aphasie nach einem Schlaganfall bestehen bleiben, wird eine Sprachtherapie durchgeführt, deren Ergebnisse von einem frühen Beginn und der Beharrlichkeit abhängen.

– Heute glauben wir, dass mit intensiver Rehabilitation eine zusätzliche Genesung sogar ein Jahr oder zwei nach dem Auftreten eines Schlaganfalls möglich ist. Leider bleibt aufgrund der oben genannten Empfindlichkeit des Gehirns gegenüber Nährstoffmangel oft trotz Rehabilitation mindestens ein gewisser Grad an Defizit bestehen, was ein erhöhtes Risiko für Aspirationspneumonie bei Dysarthrie oder Schwierigkeiten im sozialen Kontakt bei Aphasie bedeuten kann – sagt Professor Malojčić.

Er fügt hinzu, dass neue Technologien eine zunehmend wichtige Rolle bei der Behandlung von Schlaganfällen und deren Folgen spielen. Interessante neue Methoden, die Robotik und künstliche Intelligenz einbeziehen, werden immer häufiger. Robotik ermöglicht die Bewegung von Gliedmaßen in jeder Position und mit extrem präzise definierten Intensitäten, was die Standardphysiotherapie unterstützen kann.

– Künstliche Intelligenz hilft Forschern, bestehende Methoden zu verfeinern oder sie in neue Richtungen zu lenken. Die Forschung von Dr. Huth und Kollegen, die funktionelle Magnetresonanztomographie (fMRI) verwendeten, um Muster der Sprachinformationsbildung im Gehirn zu untersuchen, ist ein Beispiel dafür. Eine Methode, die seit Jahren existiert und die Dynamik der Veränderungen in der Aktivität einzelner Gehirnregionen verfolgen kann, war bisher nicht in der Lage, kurzfristige, schnelle Veränderungen in Echtzeit zu rekonstruieren, aber mit Hilfe von künstlicher Intelligenz hat die erreichte Geschwindigkeit der Erkennung es ermöglicht, zu erkennen, wie bestimmte Gehirnregionen auf spezifische Sprachbegriffe reagieren, und dann konnte der Computer die Bedeutung aus der Liste der aktivierten Regionen vor den präsentierten Sprachbegriffen rekonstruieren – erklärt Professor Malojčić und fügt hinzu, dass ähnliche Ergebnisse bisher nur durch invasive Methoden (Elektrodenimplantation, in die stark von Elon Musk investiert wird) erzielt wurden, sodass dies sicherlich ein vielversprechendes Werkzeug ist. Bevor es jedoch vollständig in der täglichen Praxis, d.h. in der Rehabilitation von Patienten mit Sprachstörungen, angewendet werden kann, muss das Experiment an echten Patienten und in verschiedenen Indikationen bestätigt werden.