KI benötigt eine Nachweiskette; insbesondere in den Biowissenschaften

Ein kürzlich in den „MedCity News“ veröffentlichter Meinungsbeitrag brachte einen wichtigen Punkt zum Thema KI in der Arzneimittelentwicklung auf den Punkt: Die Herausforderung liegt oft nicht in der Datenmenge, sondern darin, ob diese Daten als Belege gewertet werden können. Diese Frage ist auch weit über die Arzneimittelentwicklung hinaus von Bedeutung.

Künstliche Intelligenz kann große Informationsmengen analysieren, Muster erkennen und Daten zusammenführen, die ein Mensch niemals manuell überprüfen könnte. Ihre Ergebnisse hängen jedoch nach wie vor von der zugrunde liegenden Informationsbasis ab. Wenn ein Modell ein Signal, eine Empfehlung oder eine Zusammenfassung liefert, müssen Teams grundlegende Fragen klären: Welche Quelldatensätze stützen diese Ergebnisse? Was bedeuteten diese Datensätze zum damaligen Zeitpunkt? Waren sie vollständig? Wer hat sie geändert? Lässt sich das Ergebnis später reproduzieren oder hinterfragen?

Daten werden erst dann zu verwertbaren Informationen, wenn ihre Bedeutung, ihre Herkunft, ihre Zusammenhänge und ihre Kontrollmechanismen weiterhin zugänglich sind. Ohne diesen Kontext handelt es sich zwar weiterhin um Daten, jedoch nicht mehr um verlässliche Belege.

Dies ist von Bedeutung, da Daten erhalten bleiben können, während Nachweise verloren gehen. Ein klinisches Dokument kann ohne seine ursprünglichen Identifikatoren, den Genehmigungsverlauf oder den Bezug zu dem Protokoll, das es unterstützte, in einen Data Lake kopiert werden. Ein Laborergebnis kann ohne den Kontext des Geräts, der Methode, der Version und der Überprüfung exportiert werden, die es erst interpretierbar machten. Eine abgeschlossene Studie kann die Systeme überdauern, in denen ihr eTMF, ihre Qualitätsaufzeichnungen und strukturierten Daten gespeichert waren, wodurch zwar Dateien zurückbleiben, die Möglichkeit, die gesamte Dokumentation zu erklären, jedoch eingeschränkt wird.

Es geht nicht darum, dass jeder KI-Anwendungsfall ein einziges, perfektes Unternehmensrepositorium benötigt. Vielmehr geht es darum, dass hochwertige Entscheidungen einen nachvollziehbaren Rückverfolgungsweg zu den Informationen und Kontrollmechanismen erfordern, auf denen sie beruhen. Dieser Rückverfolgungsweg muss festgelegt werden, bevor die Daten wiederverwendet, migriert oder in ein Modell eingespeist werden.

Beginnen Sie mit einem Belegpaket, nicht mit einem Datensatz

Legen Sie für jede Dokumentklasse, die für Entscheidungen in den Bereichen Forschung, Qualität, Sicherheit oder Zulassung relevant sein könnte, fest, welche Informationen zusammen mit dem Inhalt übermittelt werden müssen.

Das Paket umfasst in der Regel mehr als nur das Dokument oder den Datenauszug. Es kann die Kennung der maßgeblichen Quelle, betriebswirtschaftliche und technische Metadaten, relevante Zeitstempel, die zum jeweiligen Zeitpunkt gültige Version, verknüpfte Datensätze, Genehmigungen, Nachweise über Unterschriften oder Überprüfungen sowie die Aufbewahrungsgrundlage enthalten. Die genaue Auflistung unterscheidet sich je nach Chargenprotokoll, Dokument aus einer klinischen Studie, Qualitätsvorfall und Einreichungsunterlage. Entscheidend ist, dass das Unternehmen darlegen kann, warum ein bestimmtes Element das ist, was es zu sein vorgibt, und in welchem Zusammenhang es mit dem übergeordneten Prozess steht.

Dies sollte eine funktionale Anforderung sein, auf die sich die Verantwortlichen aus den Bereichen Qualität, Zulassung, Daten und Geschäftsprozesse geeinigt haben. Wenn man dies einem Exportskript oder einem künftigen Migrationsteam überlässt, führt dies dazu, dass die Nachweiskette lückenhaft wird.

Die Herkunft bei jeder Umwandlung nachweisen

Der größte Verlust an Beweiswert entsteht bei den Übergaben. Bei einem Systemexport werden die Daten bereinigt, zugeordnet, angereichert, konvertiert und in eine andere Plattform geladen. Jeder einzelne Schritt mag technisch einwandfrei sein, erschwert jedoch die spätere Interpretation des Ergebnisses.

Führen Sie Aufzeichnungen über die Quelle, das Extraktionsdatum, die Transformationsregeln, die Schemaversion und die durchgeführte Validierung. Wenn KI zu einem Prozess beiträgt, erfassen Sie die Modell- oder Dienstversion, die ihr zur Verfügung gestellten Eingaben, die gespeicherte Ausgabe sowie die anschließende Überprüfung oder Entscheidung durch einen Menschen. Dies erfordert nicht, dass jedes vorübergehende Verarbeitungsdetail auf Dauer aufbewahrt wird. Erforderlich ist jedoch ein angemessenes Nachverfolgungsprotokoll für Ergebnisse, die eine regulierte oder wesentliche Entscheidung beeinflussen könnten.

Behandeln Sie die KI-Ausgabe als abgeleiteten Datensatz mit eigener Herkunftsnachweis. Ein Prüfer sollte in der Lage sein, von dieser Ausgabe zu den zugrunde liegenden Belegen zu gelangen, ohne auf das institutionelle Gedächtnis oder eine nicht mehr genutzte Anwendung zurückgreifen zu müssen.

Bewahren Sie Zeit und Beziehungen auf

Informationen aus den Lebenswissenschaften sind für sich genommen selten aussagekräftig. Ein Ergebnis ergibt möglicherweise erst im Zusammenhang mit einer Protokolländerung, einer Probe, einer Gerätekonfiguration, einer Genehmigung durch den Prüfer oder einem früheren Befund einen Sinn. Auch der Zeitpunkt spielt eine Rolle: Der Zeitpunkt des Ereignisses, der Erfassungszeitpunkt, der Korrekturzeitpunkt und der Genehmigungszeitpunkt können jeweils eine andere Frage beantworten.

Ein beweisfähiges Design bewahrt diese Verknüpfungen, anstatt sie zu einem Ordner mit Dateien oder einer zusammenhanglosen Reihe von Zeilen zu vereinfachen. Es unterscheidet den Originaldatensatz von einer Wiedergabe, eine korrigierte Version von der vorherigen Version und einen Querverweis von einem Duplikat. Außerdem sollte deutlich werden, welches System für eine bestimmte Phase des Lebenszyklus maßgeblich war.

Das bedeutet nicht, dass jede Beziehung in einer einzigen Anwendung abgebildet werden muss. Es bedeutet vielmehr, dass die Verbindungen, die zum Verständnis und zur Absicherung eines Datensatzes erforderlich sind, verfügbar, dokumentiert und abrufbar bleiben müssen.

Machen Sie die Überprüfbarkeit zu einer operativen Fähigkeit

Beweismittel werden im Laufe der Zeit auf ihre Gültigkeit geprüft, oft nachdem sich das operative System geändert hat oder nicht mehr existiert. Die bloße Aufbewahrung allein reicht nicht aus, um zu beantworten, ob ein Beleg während dieses Zeitraums unverändert, lesbar und ordnungsgemäß verwaltet geblieben ist.

Die praktischen Kontrollmaßnahmen sind bekannt, müssen jedoch im Zusammenspiel funktionieren: Integritätsprüfungen, kontrollierter Zugriff, Prüfpfade, Aufbewahrungs- und Legal-Hold-Regelungen, Format- und Migrationsplanung sowie die Möglichkeit, die Aufzeichnung mit dem für die Einsichtnahme erforderlichen Kontext zu exportieren. Bei digital signiertem Material muss der Aufbewahrungsansatz zudem die Validierungsnachweise berücksichtigen, die benötigt werden, sobald sich Zertifikate, Algorithmen und Dienste weiterentwickelt haben.

Der eigentliche Test ist einfach: Könnte ein befugter Prüfer nachvollziehen, um welche Aufzeichnung es sich handelt, wie damit verfahren wurde und warum man sich darauf verlassen kann, ohne das ursprüngliche System erneut öffnen oder ehemalige Projektmitglieder befragen zu müssen?

Richten Sie die Steuerungsstruktur auf den Anwendungsfall aus

Es gibt keine einheitliche Architektur für die Datenaufbewahrung, die für alle Arbeitsabläufe im Bereich der Biowissenschaften gleichermaßen geeignet ist. Ein Forschungsdatensatz, ein abgeschlossenes Archiv klinischer Studien, ein Pharmakovigilanz-Fall und ein stillgelegtes Qualitätssystem weisen unterschiedliche Aufbewahrungsfristen, Zugriffsanforderungen und Prüfungsrisiken auf.

Teams sollten daher mit einer kleinen Auswahl vorrangiger Anwendungsfälle beginnen und ausgehend von den Fragen, die sie möglicherweise später beantworten müssen, rückwärts vorgehen. Ermitteln Sie die maßgeblichen Quellen, die Belegunterlagen, die miteinander verknüpft bleiben müssen, die Transformationen, die Rückverfolgbarkeit erfordern, sowie die Kontrollmechanismen, die auch bei einer Systemumstellung erhalten bleiben müssen. Stellen Sie anschließend sicher, dass diese Anforderungen während der Implementierung und Migration überprüfbar sind.

Es handelt sich hierbei um eine funktionsübergreifende Aufgabe. Die Datenwissenschaft kann definieren, was für die Analyse nützlich ist. Qualitäts- und Regulierungsteams können festlegen, was vertretbar ist. Die IT und die Informationsgovernance können sicherstellen, dass das Ergebnis so lange zugänglich und kontrolliert bleibt, wie es benötigt wird. KI wird umso nützlicher, je früher diese Disziplinen zusammenarbeiten, anstatt erst dann, wenn ein Modell bereits Ergebnisse geliefert hat, die niemand vollständig erklären kann.

Die praktische Lösung besteht darin, die Aufzeichnungen, den Kontext, die Zusammenhänge und die Belege zu bewahren, die dafür sorgen, dass Informationen auch im Laufe der Zeit verständlich bleiben.

Wo Docbyte Vault zum Einsatz kommt

Docbyte Vault kommt zum Einsatz, wenn diese Anforderungen an die Beweissicherung länger gelten müssen als die Lebensdauer der Quellsysteme, aus denen die Informationen stammen. Erfahren Sie mehr Biowissenschaften und GxP-Archivierung, die praktische Disziplin der Einstellung einer Anwendung, und die Integrations- und Aufbewahrungsoptionen in Docbyte Vault.

Dieser Beitrag wurde inspiriert von KI in der Arzneimittelentwicklung ist kein Datenproblem – es ist ein Problem der Evidenz auf MedCity News.