AI heeft een bewijsketen nodig; met name in de levenswetenschappen

In een recent opiniestuk in MedCity News werd een nuttig punt naar voren gebracht over AI bij de ontwikkeling van geneesmiddelen: de beperking ligt vaak niet in de hoeveelheid gegevens, maar in de vraag of die gegevens als bewijs kunnen worden beschouwd. Deze vraag is ook ver buiten de geneesmiddelenontwikkeling van belang.

AI kan grote hoeveelheden informatie analyseren, patronen ontdekken en gegevens samenbrengen die een mens nooit handmatig zou kunnen doorlopen. De uitkomst ervan is nog steeds afhankelijk van de onderliggende informatiebasis. Wanneer een model een signaal, een aanbeveling of een samenvatting genereert, moeten teams de volgende fundamentele vragen beantwoorden: Welke brongegevens ondersteunen dit? Wat betekenden die gegevens op dat moment? Waren ze volledig? Wie heeft ze gewijzigd? Kan het resultaat later worden gereproduceerd of betwist?

Gegevens worden bruikbare informatie wanneer de betekenis, de herkomst, de onderlinge verbanden en de controlemaatregelen ervan beschikbaar blijven. Zonder die context zijn het weliswaar nog steeds gegevens, maar vormen ze geen betrouwbaar bewijsmateriaal meer.

Dit is van belang omdat gegevens bewaard kunnen blijven terwijl bewijsmateriaal verdwijnt. Een klinisch document kan naar een data lake worden gekopieerd zonder de oorspronkelijke identificatiegegevens, de goedkeuringsgeschiedenis of de relatie tot het protocol waarop het betrekking had. Een laboratoriumuitslag kan worden geëxporteerd zonder de context van het instrument, de methode, de versie en de beoordeling die deze uitslag interpreteerbaar maakten. Een afgeronde studie kan langer bestaan dan de systemen waarin de eTMF, kwaliteitsgegevens en gestructureerde gegevens waren opgeslagen, waardoor er weliswaar bestanden achterblijven, maar het vermogen om het volledige dossier te verklaren wordt aangetast.

Het gaat er niet om dat elke AI-toepassing één enkele, perfecte bedrijfsdatabank nodig heeft. Het gaat erom dat voor beslissingen van grote waarde een traceerbaar spoor moet bestaan dat terugleidt naar de informatie en de controles waarop deze beslissingen zijn gebaseerd. Dat spoor moet worden uitgewerkt voordat de gegevens worden hergebruikt, gemigreerd of in een model worden ingevoerd.

Begin met een bewijsmateriaalpakket, niet met een dataset

Geef voor elke documentklasse die van belang kan zijn voor beslissingen op het gebied van onderzoek, kwaliteit, veiligheid of regelgeving aan wat er samen met de inhoud moet worden meegestuurd.

Het pakket bevat doorgaans meer dan alleen het document of het gegevensuittreksel. Het kan de identificatiecode van de gezaghebbende bron, zakelijke en technische metagegevens, relevante tijdstempels, de op dat moment geldende versie, gekoppelde documenten, goedkeuringen, bewijs van ondertekening of beoordeling, en de bewaargrond omvatten. De exacte lijst verschilt per batchrapport, document uit een klinische studie, kwaliteitsincident en indieningsdossier. Het is van belang dat de organisatie kan uitleggen waarom een bepaald item is wat het beweert te zijn en hoe het zich verhoudt tot het bredere proces.

Dit dient een functionele vereiste te zijn, waarover overeenstemming is bereikt tussen de afdelingen Kwaliteit, Regelgeving, Data en de verantwoordelijken binnen de organisatie. Door dit over te laten aan een exportscript of een toekomstig migratieteam raakt de bewijsketen onvolledig.

Zorg ervoor dat de herkomst bij elke bewerking behouden blijft

Het grootste deel van het verlies aan bewijskracht vindt plaats tijdens de overdrachten. Een systeemexport wordt opgeschoond, gekoppeld, aangevuld, geconverteerd en in een ander platform geladen. Hoewel elke stap technisch gezien correct kan zijn, kan dit ertoe leiden dat het resultaat later moeilijker te interpreteren is.

Houd een overzicht bij van de bron, de datum van extractie, de transformatieregels, de schemaversie en de uitgevoerde validatie. Wanneer AI bijdraagt aan een proces, leg dan de versie van het model of de dienst vast, de invoergegevens die daaraan ter beschikking zijn gesteld, de bewaarde uitvoergegevens en de daaropvolgende menselijke beoordeling of beslissing. Dit betekent niet dat elk vluchtig verwerkingsdetail voor altijd moet worden bewaard. Er is wel een evenredig spoor vereist voor uitkomsten die van invloed kunnen zijn op een gereguleerde of wezenlijke beslissing.

Beschouw de AI-uitvoer als een afgeleid document met een eigen herkomstgeschiedenis. Een beoordelaar moet vanuit die uitvoer naar het onderliggende bewijsmateriaal kunnen navigeren zonder afhankelijk te zijn van het institutionele geheugen of een applicatie die niet meer in gebruik is.

Zorg ervoor dat tijd en relaties intact blijven

Informatie op het gebied van de levenswetenschappen is op zichzelf zelden zinvol. Een resultaat kan pas betekenis krijgen in samenhang met een protocolwijziging, een monster, een apparaatconfiguratie, een goedkeuring door een onderzoeker of een eerdere bevinding. Ook tijd speelt een rol: het tijdstip van de gebeurtenis, het tijdstip van registratie, het tijdstip van correctie en het tijdstip van goedkeuring kunnen elk een andere vraag beantwoorden.

Een bewijsklaar ontwerp behoudt deze verbanden in plaats van ze te reduceren tot een map met bestanden of een losstaande reeks rijen. Het maakt onderscheid tussen het oorspronkelijke document en een weergave ervan, tussen een gecorrigeerde versie en de voorgaande versie, en tussen een kruisverwijzing en een duplicaat. Ook dient het duidelijk te maken welk systeem in een bepaalde fase van de levenscyclus als gezaghebbend gold.

Dat betekent niet dat elke relatie in één applicatie moet worden gemodelleerd. Het betekent wel dat de koppelingen die nodig zijn om een record te begrijpen en te verdedigen, beschikbaar, gedocumenteerd en opvraagbaar moeten blijven.

Maak verifieerbaarheid tot een operationele capaciteit

Bewijsmateriaal wordt in de loop van de tijd getoetst, vaak nadat het operationele systeem is gewijzigd of verdwenen. Opslag alleen biedt geen uitsluitsel over de vraag of een document gedurende die gehele periode intact, leesbaar en naar behoren beheerd is gebleven.

De praktische maatregelen zijn bekend, maar moeten in onderlinge samenhang functioneren: integriteitscontroles, gecontroleerde toegang, audittrajecten, beheer van bewaartermijnen en juridische bewaarplicht, planning van bestandsformaten en migratie, en de mogelijkheid om het document te exporteren met de context die nodig is voor inspectie. Voor digitaal ondertekend materiaal moet de bewaarstrategie ook rekening houden met het validatiebewijs dat nodig zal zijn nadat certificaten, algoritmen en diensten zijn geëvolueerd.

De echte test is eenvoudig. Zou een bevoegde controleur kunnen begrijpen wat dit document inhoudt, hoe het is verwerkt en waarom het betrouwbaar is, zonder het oorspronkelijke systeem opnieuw te openen of voormalige projectleden te moeten opsporen?

Stel het beleid op basis van de gebruikssituatie op

Er bestaat geen uniforme bewijsarchitectuur die geschikt is voor alle werkbelastingen binnen de levenswetenschappen. Een dataset uit onderzoek, een voltooid archief van klinische proeven, een farmacovigilantiedossier en een buiten gebruik gesteld kwaliteitssysteem hebben elk verschillende bewaartermijnen, verwachtingen ten aanzien van de toegang en inspectierisico’s.

Teams dienen daarom te beginnen met een beperkt aantal prioritaire gebruiksscenario’s en terug te werken vanuit de vragen die zij mogelijk later moeten beantwoorden. Breng de gezaghebbende bronnen in kaart, evenals het bewijsmateriaal dat gekoppeld moet blijven, de transformaties die traceerbaarheid vereisen en de controles die bij een systeemwijziging behouden moeten blijven. Zorg er vervolgens voor dat deze vereisten tijdens de implementatie en migratie toetsbaar zijn.

Dit is een functie waarin verschillende disciplines samenwerken. Data science kan bepalen wat nuttig is voor analyse. Kwaliteits- en regelgevingsteams kunnen bepalen wat verdedigbaar is. IT en informatiebeheer kunnen ervoor zorgen dat het resultaat toegankelijk en onder controle blijft zolang dat nodig is. AI wordt nuttiger wanneer deze disciplines in een vroeg stadium met elkaar samenwerken, in plaats van pas nadat een model al resultaten heeft opgeleverd die niemand volledig kan verklaren.

De praktische oplossing bestaat erin de documenten, de context, de verbanden en het bewijsmateriaal te bewaren die ervoor zorgen dat informatie ook op de lange termijn begrijpelijk blijft.

Docbyte Vault is de beheerste archiverings- en preserveringslaag. Het ondersteunt ingest, metadata, open preserveringspakketten, integriteitscontroles, bewaring, zoeken, auditbaarheid en gecontroleerde toegang.

Docbyte Vault is van belang wanneer deze bewijsvereisten langer moeten blijven bestaan dan de bronsystemen waarmee de informatie is aangemaakt. Ontdek meer levenswetenschappen en GxP-archivering, de praktische discipline van buitengebruikstelling van applicaties, en de integratie- en bewaaropties in Docbyte Vault.

Dit bericht is geïnspireerd door AI bij de ontwikkeling van geneesmiddelen is geen gegevensprobleem — het is een bewijsprobleem op MedCity News.