AI-vraagstuk

We missen tests, evals of monitoring

"Het voelt beter" is geen betrouwbare teststrategie. Als je AI-functionaliteit serieus gebruikt, moet je kunnen zien wat wijzigingen doen en wanneer het in productie misgaat. Wij helpen die feedbackloop neerzetten.

Plan een gesprek Bekijk passend aanbod

Herken je dit?

Zonder goede feedbackloop wordt een AI-product steeds moeilijker verantwoord door te ontwikkelen.

Testen gebeurt vooral handmatig
Iemand probeert na iedere wijziging een paar bekende voorbeelden.
Promptwijzigingen zijn moeilijk te vergelijken
Je weet niet objectief of versie B werkelijk beter is dan versie A.
Productiefouten worden via gebruikers ontdekt
Het systeem signaleert zelf nauwelijks afwijkend gedrag.
Modelupdates voelen spannend
Een nieuwe provider- of modelversie kan gedrag veranderen zonder duidelijke waarschuwing.

Waar wil je naartoe?

Je wilt met vertrouwen kunnen veranderen omdat je snel ziet wat een nieuwe prompt, modelversie of codewijziging daadwerkelijk doet.

Regressies worden zichtbaar

Belangrijke bestaande situaties worden automatisch opnieuw gecontroleerd.

AI-kwaliteit wordt meetbaar

Je vergelijkt wijzigingen op relevante voorbeelden en criteria.

Productie geeft feedback

Fouten, latency en opvallend gedrag verdwijnen niet meer stilletjes in logs.

Waarom gebeurt dit?

Traditionele softwaretests blijven belangrijk, maar AI voegt gedrag toe waarvoor niet altijd één exact goed antwoord bestaat.

Bekijk hoe we dit aanpakken

AI-output is probabilistisch

Exacte stringvergelijkingen zijn voor veel AI-taken niet voldoende.

Goede voorbeelden zijn niet vastgelegd

Kennis over wat goed en fout is zit vooral in hoofden en losse chats.

Observability stopt bij technische errors

Een HTTP 200 zegt niets over de kwaliteit van het antwoord.

Passend aanbod

Rescue Sprint

Als de scope duidelijk is, zetten we in een Rescue Sprint een praktische feedbackloop neer met de juiste combinatie van tests, evals, traces en monitoring. Is eerst breder onderzoek nodig, dan beginnen we met een audit.

Bekijk dit aanbod

€5.950 excl. btw

Per Sprint · één duidelijk rescue-doel

Resultaat: De afgesproken technische blokkade opgelost, getest en overgedragen
Doorlooptijd: Eén week
Volgende stap: Jullie nemen het over, of een volgende Sprint voor een nieuw doel

Waarom 9to5 hierbij?

Een meetlaag is voor ons pas nuttig als engineers er sneller mee kunnen zien of een verandering veilig en daadwerkelijk beter is.

Bekijk cases

Gewone tests waar het kan

Deterministische software blijft gewoon deterministisch testbaar.

Evals waar het nodig is

AI-gedrag krijgt voorbeelden en criteria die passen bij de echte use case.

Productiedata sluit de lus

Monitoring laat zien welke situaties in de werkelijkheid aandacht vragen.

We missen tests, evals of monitoring

Herken je dit?

Testen gebeurt vooral handmatig

Promptwijzigingen zijn moeilijk te vergelijken

Productiefouten worden via gebruikers ontdekt

Modelupdates voelen spannend