Gesichert wird Wissenschaft erst in der Kritik.

zu Jochen Ebmeiers Realien

Meine Überschrift klingt wie ein Kommentar zur gegenwärtigen Covid-19-Kakophonie. Doch der stünde nicht darüber, sondern gehörte selber dazu. Darum geht es hier um ein inzwischen wis-senchaftlich unverzichtbares bildgebendes Verfahren: die funktionale Magnetresonanztomogra-fie.

aus nzz.ch, 5.06.2020                                             Dieser Hirnscan zeigt, welche Areale beim Schmatzen aktiv werden.

Hirnscans lassen sich unterschiedlich lesen.
Das Problem gehen Forscher jetzt proaktiv an

Es ist schon länger ein Thema, nun haben es Forscher systematisch analysiert: 70 Teams haben denselben Datensatz von fMRI-Hirnbildern ausgewertet und kamen auf unterschiedliche Ergebnisse. Den Ansatz sehen sie als Chance.

von Lena Stallmach 

Der Blick ins Gehirn gehört für viele Forscher, die das menschliche Verhalten und Denken erforschen, zur täglichen Routine. Denn seit vor etwa dreissig Jahren die Magnetresonanztomografie entwickelt wurde, geht das, auch ohne den Schädel aufzuschneiden. Die Bilder von bunt gefärbten Hirnscans schmücken seither auch viele Zeitungsartikel.

Aber die Begeisterung für die Methode lässt nach. Die Auswertung der hochkomplexen Daten ist, wie kann es anders sein, ebenfalls hochkomplex. Bei jedem Verarbeitungsschritt gibt es viele Möglichkeiten, die Daten weiter zu bearbeiten – man spricht hier von einem hohen Freiheitsgrad des Forschers. Deshalb steht die Methode seit längerem in der Kritik, denn diese Freiheit wirkt sich auch auf die Ergebnisse aus.

Um dies zu illustrieren, hat sich ein Kollektiv aus 70 Forscherteams zusammengetan und denselben Datensatz an fMRI-Hirnscans ausgewertet. Sie verarbeiteten dabei die Hirnscan-Rohdaten von 108 Freiwilligen, die im Scanner ein Gewinnspiel spielten, unter jeweils zwei verschiedenen Bedingungen: In der Bedingung A war das Verlustrisiko grösser als in der Bedingung B.

Die Aufgabe bestand nun darin, neun Hypothesen zu testen, beispielsweise ob eine bestimmte Hirnregion in Bedingung A mehr oder weniger aktiv war als in B. Die Teams suchten dabei nach signifikanten Unterschieden in der Hirnaktivität. Möglich waren also nur zwei Antworten, signifikant oder nichtsignifikant. Jedes Team verwendete seine bevorzugten Software-Programme und Analyseschritte.

In fünf Punkten uneinig

Bei vier Hypothesen waren sich die Teams ziemlich einig: Einmal fanden sie ein signifikantes Ergebnis und dreimal ein nichtsignifikantes, wie sie in der Zeitschrift «Nature» schreiben. Doch bei fünf Hypothesen war das Ergebnis variabel: Je nach Hypothese befanden zwischen 21 und 37 Prozent der Teams den Unterschied für signifikant, die anderen hielten ihn für nichtsignifikant.

«Das heisst aber nicht, dass einige Teams falsch gearbeitet haben», sagt der Neuropsychologe Claus Lamm von der Universität Wien, der an dem Projekt beteiligt war. «Wir haben es hier mit einer komplexen Analysemethode zu tun, die auf vielen verschiedenen Annahmen und Entscheidungen beruht.» Das beginnt damit, dass die Versuchspersonen im Scanner niemals völlig ruhig liegen. Deshalb gibt es verschiedene Korrekturprogramme, die die Bewegungen herausfiltern.

In einem nächsten Schritt werden die Gehirne zur besseren Vergleichbarkeit in eine Normgrösse übertragen. Kleine Gehirne werden digital aufgeblasen und grosse geschrumpft. Dann müssen die Daten geglättet werden, was bedeutet, dass Störsignale herausgefiltert werden. Für all diese Schritte gibt es unterschiedliche Programme und Parameter. Und das ist erst die Datenaufbereitung.

Bei der eigentlichen Datenanalyse kommen verschiedene statistische Modelle ins Spiel, mit denen nach einer Korrelation zwischen der Hirnaktivität und der Entscheidungsfindung gesucht wird. Dabei gilt es zwischen einer echten und einer zufälligen Korrelation zu unterscheiden, wofür es wiederum verschiedene Korrekturprogramme gibt. Durch diese Varianz bei der Datenverarbeitung komme es auch zu einer Varianz in den Ergebnissen, sagt Lamm. Welches die richtige Analysemethode ist, ist dabei schwer zu beurteilen.

Eine Meta-Analyse ist zuverlässiger

In einer Meta-Analyse der Hirnaktivierungskarten war die Übereinstimmung bezüglich der aktivierten Hirnregionen allerdings grösser, als man von den auf Ja-Nein-Antworten beruhenden Ergebnissen denken würde. Wenn man immer nur auf den p-Wert schaue – also auf den Wert, der die Signifikanz angibt –, gingen viele Informationen unter, sagt der Neuropsychologe Lutz Jäncke von der Universität Zürich, der nicht an der Arbeit beteiligt war. «Starke Effekte sieht man mit allen Auswertungsmethoden. Das Problem liegt bei den fragilen, kleinen Effekten, die können im Rauschen verloren gehen, in der Meta-Analyse werden sie dagegen sichtbar.»

Oft werden aber auch Effekte gefunden, die keine sind. «Dagegen helfen nur Replikationsstudien», sagt Jäncke. Solche Wiederholungen von Studien werden seit Jahren gefordert und auch vermehrt durchgeführt. Lange wurden in der Wissenschaft nur Studien publiziert, die einen Effekt aufzeigen, die also beispielsweise einen Zusammenhang zwischen einem Verhalten und einer neuronalen Signatur finden. Das schafft den Anreiz, die Daten so auszuwerten, dass solch ein Zusammenhang hervortritt. In vielen Fällen konnte dieser von anderen Forscherteams später aber nicht repliziert werden. Dieses Problem ist in allen Bereichen der Lebenswissenschaften schon länger ein Thema und unter dem Begriff der Replikationskrise bekannt.

Die Kritik an den fMRI-Studien flammt alle paar Jahre wieder auf, wenn Studien darauf hinweisen, auf welch wackligen Füssen manche Ergebnisse stehen. Vor vier Jahren etwa sorgte eine Arbeit von Anders Eklund aus Schweden für Furore, die zeigte, dass gewisse Analyseschritte bei der Auswertung von fMRI-Daten zu 70 Prozent falsch positiven Ergebnissen führen können.

Wege in die Zukunft

Das Forscherkollektiv der «Nature»-Studie fordert, dass bei fMRI-Studien künftig detailliert angegeben wird, welche Analyseschritte verwendet wurden. Wenn die Annahmen und Entscheidungen transparent seien, würden die Ergebnisse auch für andere überprüfbar, sagt Lamm. Auch fordern die Autoren, dass die Analysemethoden vor der Datenerhebung definiert werden. Dies soll verhindern, dass Forscher ihre Strategie wechseln, um doch noch ein Ergebnis zu produzieren. Eine weitere Forderung lautet, dass die Daten anderen Forschern zur Verfügung gestellt werden, damit diese ihre eigenen Analysemethoden testen können. Diese Forderungen sind nicht neu. Und sie würden auch immer öfter befolgt, sagen die befragten Neurowissenschafter.

Dominik Bach vom University College London sagt: «Das Bewusstsein hat sich verändert. Dafür ist das vorliegende Papier ein schönes Beispiel.» Aber die eigentliche Arbeit beginne erst. Man kenne nun die Variabilität, aber um herauszufinden, welche Analysemethode für welche Aufgabe die richtige sei, dafür sei noch viel methodische Arbeit nötig. Aber das sei auch in der Physik und in anderen Naturwissenschaften nicht anders gewesen. Kleine Effekte sauber zu messen, ist in allen Disziplinen eine Herausforderung. Eine gesunde Skepsis gegenüber den eigenen Resultaten kann dabei nur förderlich sein. 


Nota. - Forschung betreibt nicht einer, sondern betreiben viele; gottlob. Wenn sie eines Tages fertig würden, wäre ihre Arbeit dennoch nicht abgeschlossen. Das wäre sie erst, wenn sie - und auch ein paar Theoretiker - einander so lange zur Verantwort ung gezogen hätten, dass keine Frage mehr übrigbleibt. Dieser Tag wird, wiederum gottlob, nicht kommen. Darum muss das alles jederzeit in einem systemischen Fluss gleichzeitig geschehen. 'Gesichert' ist Wissenschaft immer nur - wie der Wiener sagt - einstweilen definitiv. Was sie dar-aus macht, muss die profane Welt selbst entscheiden.
JE