RöKo 2021 – KI-Tools: Die schwere Entscheidung für die richtige Lösung

×

RöKo 2021 – KI-Tools: Die schwere Entscheidung für die richtige Lösung

Für die Anschaffung eines radiologischen KI-Tools gelten im Großen und Ganzen die gleichen Regeln wie in der „Vor-KI-Welt“, beruhigte John Mongan, University of California San Francisco. Beim RöKo gab er Tipps für die Planung.

• Präsentationstag:

  16.09.2021 1 Kommentare
• Autor:

  mh/ktg
• Sprecher:

  John Mongan, University of California San Francisco
• Quelle:

  RöKo 2021

Nur eine Anwendung, die auch tatsächlich Probleme löst, ist eine sinnvolle Anschaffung. „Eine Lösung für ein Problem, das man nicht hat, ist keine Lösung“, sagte Mongan.

Wer über die Anschaffung eines KI-Tools nachdenkt, muss daher zuerst die Aufgabe genau definieren, die es übernehmen soll. Geht es darum, Kosten zu sparen? Oder schneller zu werden? Oder an Präzision zu gewinnen?

„Wer einfach erstmal nur etwas über KI lernen möchte, der sollte vom Kauf einer Anwendung absehen und stattdessen die vorhandenen Lehrmaterialien zu Rate ziehen“, riet Mongan.

Potenziellen Nutzen bewerten – Impact

Wie groß ist der Anteil an PatientInnen, deren Versorgung von der neuen Anwendung profitieren könnte? Und wie groß ist die Bedeutung des Tools für jeden einzelnen Patienten? Nur wer diese Fragen beantworten kann, kann potenziellen Nutzen und Kosten einander gegenüberstellen.

Performance – Funktioniert das mit meinen Daten?

„KI ist sehr empfindlich für Änderungen beim Input“, warnte Mongan. Das bedeutet, dass der Einsatz eines anderen Scanners, anderer Scan-Parameter oder Änderungen in der PatientInnen-Population sich auf die Qualität der Ergebnisse auswirken können.

„Daher ist es nötig, dass Sie Ihre eigenen Daten lokal validieren“, so Mongan. Dafür sind in der Regel einige tausend Fälle erforderlich. Das ist aber an vielen Standorten nicht leistbar. Realistischer ist zumindest eine partielle Validierung. Das ist wichtig, „weil die KI umso mehr Erfolg verspricht, je mehr die eigenen Daten den Trainingsdaten der KI ähneln.“ Eine von Mongan et al. erstellte Checkliste dafür gibt es bei Radiology: Artificial Intelligence 2020 (Open Access).

Sind die eigenen Daten geeignet für das geplante KI-Tool? Um das zu beantworten, muss ein Abgleich der eigenen Daten mit den Trainingsdaten der Hersteller stattfinden. Zwar geben die Anbieter von KI-Tools solche Informationen nicht gerne heraus. „Aber letztlich haben Sie als Kunde die Macht“, so Mongan. Erfahrungsgemäß würden die Daten dann doch geliefert, wenn man entschieden genug nachfragt.

Akzeptanz bei den AnwenderInnen

Der Akzeptanz eines KI-Tools beim Radiologie-Personal wird umso größer sein, je besser es sich in den bestehenden Workflow integrieren lässt. Und es muss in der Summe Arbeit abnehmen, anstatt die Arbeitsbelastung durch zusätzliche Anforderungen noch zu vergrößern.

Dabei ist auch die potenzielle Fehlerquote eines Tools mit einzukalkulieren: „Eine fehlerhaft arbeitende KI ist schlimmer als gar keine KI“, so Mongan. Fehlfunktionen müssen daher unbedingt erkennbar und korrigierbar sein, um Schaden von den PatientInnen und der Institution abzuwenden.

Kosten – Weit mehr als der reine Erwerb

„Oft sind die reinen Anschaffungskosten für das KI-Tool nur der kleinste Teil der Kosten“, sagte Mongan. Das gilt auch für die sehr populären Preismodelle, die statt eines einmaligen Kaufpreises regelmäßig je nach Anzahl der Anwendungsfälle abgerechnet werden.

Von vornherein einzukalkulieren sind Kosten für

• Vertragsverhandlungen und Rechtsberatung
• Schulungen für AnwenderInnen und IT-Abteilung
• Integration in den Workflow – oft sehr aufwändig
• zusätzliche Hardware oder Cloud-Services

„Ziehen Sie bei Ihren Planungen schon ganz früh Ihre IT-Spezialisten mit heran“, riet Mongan. Oft unterschätzt wird auch der Aufwand für das kontinuierliche Monitoring eines KI-Tools mit den dafür benötigten personellen Ressourcen.

Einzellösungen oder Plattform

Unter den angebotenen Lösungen für ein bestimmtes Problem findet sich meist eine, die den größten Nutzen verspricht. Wer aber für seine radiologische Abteilung nur nach den jeweils besten Einzellösungen sucht, muss einen gravierenden Nachteil in Kauf nehmen: Der Integrationsaufwand ist deutlich größer, als wenn man Tools eines Anbieters einkauft, die auf einer gemeinsamen Plattform angeboten werden. Der Integrationsaufwand fällt dann nur einmalig an. „Dann sind Sie allerdings auf die Anwendungen beschränkt, die Ihr Anbieter auf die Plattform bringt“, so Mongan.

Wer sollte sich jetzt radiologische KI-Tools zulegen?

„Es gibt keine bestimmten Gruppen von Radiologen, denen man jetzt empfehlen würde, KI-Tools anzuschaffen“, sagte Mongan. Ebenso wenig gebe es eine allgemeingültige Liste von Problemen, die es mittels KI zu lösen gilt. „Die Prioritäten sind an jedem Standort sehr unterschiedlich“, so Mongan. „Wenn Sie sich für eine Lösung interessieren, geben Sie nicht zu viel drauf, was der Rest der Welt dazu sagt.“

Referenzen

Filice RW, Mongan J, Kohli MD
Evaluating Artificial Intelligence Systems to Guide Purchasing Decisions
J Am Coll Radiol 2020;17(11):1405-1409

Mongan J, Moy L, Kahn CE
Checklist for Artificial Intelligence in Medical Imaging (CLAIM): A Guide for Authors and Reviewers
Radiology: Artificial Intelligence 2020;2(2)