Van AI-pilot naar productie: zeven bewijspoorten.

De ontbrekende tussenstap

Een pilot is nog geen releaseplan

Een AI-pilot begint vaak met een aantrekkelijke vraag: kan een model deze documenten samenvatten, aanvragen indelen of een concept opstellen? Met zorgvuldig gekozen voorbeelden volgt al snel een overtuigend scherm. Dan wordt “het werkt” verward met “we kunnen het verantwoord in de dagelijkse operatie zetten”.

Daartussen ligt een ander soort werk. De bron kan ontbreken. Een gebruiker kan niet de juiste rechten hebben. Het antwoord kan plausibel maar onbruikbaar zijn. Een integratie kan uitvallen. Iemand moet uitzonderingen beoordelen, wijzigingen goedkeuren en weten wanneer je terugschakelt naar de handmatige route. Dat zijn geen details na de pilot; samen vormen ze de workflow.

Een bewijspoort maakt die overgang expliciet. Iedere poort heeft vooraf afgesproken bewijs en een eigenaar. Slaagt de poort, dan mag het project verder. Faalt ze, dan herontwerp je gericht of stop je voordat een grotere investering volgt.

Poort 1 en 2

Begin met waarde en beslissingsrecht

De eerste twee poorten voorkomen een veelvoorkomende impasse: een technisch werkende pilot zonder gedeelde definitie van succes. Schrijf ook een stopregel op. Bijvoorbeeld: we gaan niet door als de nieuwe werkwijze meer review vraagt dan ze aan verwerking wegneemt, of als niemand uitzonderingen operationeel kan bezitten.

Poort 3

Data moet bruikbaar én toegestaan zijn

Een modeltest met vijf opgeschoonde voorbeelden zegt weinig over de dagelijkse invoer. Verzamel een representatieve set met normale gevallen, ontbrekende velden, afwijkende formaten, dubbelzinnigheid en bekende foutgevallen. Leg vast welke data nodig is, waar ze vandaan komt, hoe actueel ze moet zijn en welke rol ze mag zien.

Voor een eerste technische toets kan geschoonde representatieve data volstaan. Dat maakt productietoegang niet automatisch overbodig voor een latere fase. Voor echte uitrol moeten dataflow, bewaartermijnen, toegangsrechten en verantwoordelijkheden passen bij de organisatie en de gekozen leveranciers. Een algemene claim als “veilig” vervangt die concrete beoordeling niet.

• De testset weerspiegelt volume en variatie, niet alleen de mooiste voorbeelden.
• Iedere bron heeft een eigenaar, actualiteitsverwachting en toegangsgrens.
• Ontbrekende of tegenstrijdige gegevens leiden tot zichtbaar gedrag.
• Testdata en productiegegevens worden bewust van elkaar onderscheiden.

Poort 4

Meet taakkwaliteit, niet alleen een goede indruk

“Het antwoord ziet er goed uit” is geen reproduceerbare evaluatie. Bepaal wat voor deze taak een bruikbare uitkomst is. Bij extractie kan dat volledigheid per vereist veld zijn. Bij een conceptdocument kan een beoordelingsrubriek kijken naar brongebruik, volledigheid, toon en feitelijke afwijkingen. Bij routering gaat het om de juiste bestemming én wat er bij twijfel gebeurt.

Bewaar invoer, verwachte uitkomst, werkelijk resultaat en beoordeling per geval. Herhaal dezelfde set wanneer prompt, model, bron of workflowlogica verandert. Zo zie je of een verbetering op gewone gevallen nieuwe fouten aan de rand veroorzaakt. Publiceer geen los “nauwkeurigheidspercentage” zonder meetdefinitie, steekproef, datum en beperkingen.

Poort 5

“Human in the loop” is een ontworpen werkstap

Menselijke controle werkt alleen als duidelijk is wie wat ziet en mag doen. Toon de beoordelaar de oorspronkelijke invoer, relevante bronverwijzingen en de reden waarom een geval aandacht vraagt. Laat die persoon goedkeuren, weigeren, corrigeren of escaleren. Registreer het besluit zonder te doen alsof elke correctie het model vanzelf traint.

Leg de grens op basis van impact en onzekerheid. Een laag-risico concept kan misschien standaard naar review. Een onvolledig dossier moet blokkeren. Een uitzonderlijk of gevoelig geval kan naar een specialist. De mens hoort niet de plek te zijn waar onzichtbaar risico wordt gedumpt; de review moet tijd, bevoegdheid en een duidelijke uitkomst hebben.

Poort 6

Ontwerp de storing vóór ze optreedt

Productiewerk kent trage bronnen, gewijzigde velden, verlopen rechten, dubbele berichten en onverwachte modelantwoorden. Bepaal voor elk kritisch onderdeel wat de workflow dan doet: opnieuw proberen, pauzeren, naar een mens sturen, een handmatige route openen of volledig stoppen.

Maak fouten zichtbaar in logging en in de gebruikerservaring. Benoem wie meldingen opvolgt en binnen welke operationele afspraak. Zorg dat een release kan worden teruggedraaid of uitgeschakeld zonder gegevens stilletjes te verliezen. Een rollbackplan is geen teken van weinig vertrouwen in AI; het is normaal beheer van veranderlijke software en afhankelijkheden.

• Zichtbare foutstatus in plaats van een plausibele nooduitkomst
• Veilige herhaling zonder dubbele verwerking
• Handmatige fallback voor belangrijke werkstromen
• Escalatie met benoemde operationele eigenaar
• Versie- en wijzigingsregistratie voor model en workflow
• Een geteste pauze- of terugdraairoute

Poort 7

Beheer en gebruik moeten de businesscase overleven

Maak naast het pilotbudget ook de terugkerende kosten zichtbaar. Reken model- en API-gebruik, hosting, monitoring, support, evaluatie na wijzigingen en tijd voor menselijke review mee. Meet bij gecontroleerde uitrol opnieuw dezelfde bedrijfsmeetwaarde als bij de nulmeting. Een sneller model is niet automatisch een snellere workflow.

Laat echte gebruikers de keten uitvoeren zonder stap-voor-stapbegeleiding van de bouwer. Controleer of rollen kloppen, correcties begrijpelijk zijn en uitzonderingen niet buiten de nieuwe werkwijze om gaan circuleren. Benoem tot slot wie maandelijks kwaliteit, kosten, achterstand en wijzigingen bekijkt. Zonder die eigenaar veroudert de pilot zodra het projectteam vertrekt.

Het bewijslogboek

Sluit af met een besluit, niet met applaus

Vat de zeven poorten samen in één bewijslogboek: de nulmeting en bron, wat precies werd gebouwd, de evaluatieset en resultaten, bekende beperkingen, menselijke grens, faalroute, operationele eigenaar en geraamde vervolgkosten. Noteer ook wat bewust buiten scope bleef. Dat document maakt de keuze controleerbaar en voorkomt dat een demo later meer belooft dan ze heeft bewezen.

Een vaste proofsprint kan dit besluit versnellen, maar is geen sluiproute naar “productierijp in tien dagen”. De waarde zit in vroeg bewijs: de risicovolste aanname testen, beperkingen zichtbaar maken en alleen een grotere bouw financieren als de workflow haar poorten verdient.