Unstatistik des Monats: "Google AI erkennt Brustkrebs besser als die erfahrensten Radiologen"

Ein Beispiel, wie AI-Erfolge in der Presse übertrieben werden und die Frage nach dem Nutzen für Patientinnen und Patienten nicht gestellt wird.

Datum:

06.02.2020
Autor:

S. Weiler (mh/ktg)
Quelle:

RWI - Leibniz-Institut für Wirtschaftsforschung e.V.

Im Januar 2020 publizierte die Fachzeitschrift 'Nature' eine Studie über ein AI-System zur Brustkrebsfrüherkennung. AI steht dabei für 'Artificial Intelligence', also 'künstliche Intelligenz'. Die Schlagzeile von nach-welt.com berichtete „Google AI erkennt Brustkrebs besser als die erfahrensten Radiologen“. 'Spiegel online' titelte „Wie künstliche Intelligenz künftig den Job von Ärzten übernimmt“. Ähnlich enthusiastisches Medienecho gab es weltweit. AI-Systeme werden in der Tat immer besser in der Krebsfrüherkennung, aber das ist nicht unser Punkt. Diese Unstatistik zeigt exemplarisch, wie AI-Erfolge in der Presse übertrieben werden und die Frage nach dem Nutzen für Patientinnen und Patienten nicht gestellt wird.

Klarstellung der Autoren zur Mammographie-Erfahrenheit

Die Studie wurde federführend von Google-Wissenschaftlern in Palo Alto und London durchgeführt. Man trainierte und testete künstliche neuronale Netzwerke mit Röntgenbildern der Brust von mehr als 25.000 Frauen aus Großbritannien und über 3.000 Frauen aus den USA. In Großbritannien, wo zwei Radiologen jede Röntgenaufnahme beurteilen und im Fall eines unklaren Ergebnisses ein Konsensus-Urteil erstellt wird, war das AI-System im Durchschnitt etwas besser als der erste Radiologe und leicht schlechter als der zweite Radiologe und das Konsensus-Urteil. In den USA, wo nur ein Radiologe das Urteil trifft, war die AI besser. Im zweiten Teil der Untersuchung wurden sechs US-Radiologen getestet, die schlechtere Werte erreichten als die AI. Von diesen hatten jedoch die meisten kein spezielles Training im Beurteilen von Mammogrammen. Die Autoren der Studie stellten selbst klar, dass die Ergebnisse bei spezialisierten Radiologen wahrscheinlich besser ausgefallen wären; die oben berichtete Schlagzeile spricht dagegen von den „erfahrensten Radiologen“.

Wie groß ist der klinische Nutzen tatsächlich?

Die wirkliche Frage, die in den Medienberichten so gut wie nie gestellt wurde, ist: Werden Frauen durch besser werdende AI einen Nutzen haben? Dieser wird suggeriert, aber zwei wissenschaftliche Erkenntnisse raten hier zur Vorsicht. Erstens, je besser die Diagnose-Systeme werden, desto mehr kleine und klinisch irrelevante Krebsformen werden entdeckt, die nur technisch gesehen Krebs sind. Das heißt, man würde diese Formen während seines Lebens nie bemerken, da sie keine negativen Auswirkungen auf die Gesundheit haben. Da man zum Zeitpunkt der Früherkennung diese harmlosen Formen von anderen nicht unterscheiden kann, erhalten bereits heute viele verunsicherte Frauen unnötige Operationen, Strahlen- oder Chemotherapien. Mit mehr AI-Diagnostik werden wahrscheinlich noch mehr Frauen unter dieser Überbehandlung leiden.

Nutzen des Mammographie-Screenings kontrovers

Die zweite wissenschaftliche Erkenntnis ist der geringe Nutzen des Mammographie-Screenings – für Frauen, im Gegensatz zur Industrie. Untersuchungen mit etwa 500.000 Frauen zeigen, dass von je 1.000 Frauen, die nicht zum Screening gehen, nach 10 Jahren etwa 5 an Brustkrebs gestorben sind; mit Screening sind es 4. Also etwa eine von tausend stirbt weniger an Brustkrebs. Das bedeutet aber nicht, dass Screening Leben rettet, da auch eine Frau mehr an einem anderen Krebs stirbt. Die Gesamtanzahl der Frauen, die an Krebs (einschließlich Brustkrebs) sterben, ändert sich durch Screening nicht. Sie ist jeweils etwa 22 von tausend Frauen (s. www.harding-center.mpg.de). In Deutschland wird diese Information den Frauen immer noch vorenthalten, anders als etwa in der Schweiz (s. www.helsana.ch). Das heißt, AI wird zwar immer mehr Krebse frühzeitig erkennen, aber man sollte auch einen Schritt weiter denken und ehrlich sagen, dass all dieser technische Erfolg den Frauen wohl wenig helfen wird.

Hintergrund zur 'Unstatistik des Monats'

Mit der 'Unstatistik des Monats' hinterfragen der Berliner Psychologe Gerd Gigerenzer, der Dortmunder Statistiker Walter Krämer, die STAT-UP-Gründerin Katharina Schüller und RWI-Vizepräsident Thomas K. Bauer jeden Monat sowohl jüngst publizierte Zahlen als auch deren Interpretationen.