AI-vraagstuk

Onze agent werkt niet betrouwbaar genoeg

Een agent die acht van de tien keer goed werkt, kan in een demo fantastisch lijken en in productie onbruikbaar zijn. We zoeken uit waar de onbetrouwbaarheid vandaan komt en welke technische maatregelen het systeem beheersbaar maken.

Herken je dit?

Het voelt vaak eerst als een reeks losse incidenten.

  1. Dezelfde input geeft wisselende resultaten

    Wat gisteren goed ging, kan vandaag ineens een andere route nemen.

  2. De agent kiest soms de verkeerde tool

    Hij roept acties aan die niet nodig zijn of gebruikt verkeerde gegevens.

  3. Promptaanpassingen verplaatsen het probleem

    Een verbetering voor de ene situatie maakt een andere situatie slechter.

  4. Fouten verschijnen vooral bij echte gebruikers

    De demo's zijn goed, maar de werkelijkheid bevat veel meer variatie.

Waar wil je naartoe?

Een agent is nooit altijd perfect. Je moet wel weten waar hij kan falen en hoe het systeem daarmee omgaat.

Voorspelbaarder gedrag

De agent kiest consistenter de juiste stappen, tools en informatie.

Fouten worden zichtbaar

Je kunt meten welke situaties misgaan in plaats van te vertrouwen op losse handmatige tests.

Risico's zijn begrensd

Validatie, guardrails en menselijke controle voorkomen dat een fout direct een groot probleem wordt.

Waarom gebeurt dit?

De oorzaak zit zelden alleen in de prompt. Een agent is een compleet softwaresysteem waarin model, tools, context, state en foutafhandeling samenwerken.

Bekijk hoe we dit aanpakken

De taak is te open

De agent krijgt meer vrijheid dan nodig is om het proces goed uit te voeren.

De feedbackloop ontbreekt

Zonder evals en traces is moeilijk te zien welk onderdeel werkelijk faalt.

Fouten worden niet afgevangen

Eén verkeerde modelbeslissing kan onnodig doorwerken in alle volgende stappen.

Waarom 9to5 hierbij?

Een betrouwbare agent krijg je niet door eindeloos aan één prompt te sleutelen. Je behandelt hem als software, met duidelijke verantwoordelijkheden, observability en gecontroleerde faalpaden.

Bekijk cases

Het hele systeem bekijken

We onderzoeken de volledige agentflow, niet alleen de instructietekst.

Eerst meten, dan optimaliseren

Evals en traces maken zichtbaar welke veranderingen daadwerkelijk helpen.

Autonomie hoeft geen doel te zijn

We kiezen bewust waar deterministische software of menselijke controle verstandiger is.

Wat past nog meer bij je situatie?