Na de Claude-update: AI-impact in productie beheersen.

Wanneer Claude Veranderde, Veranderde Alles: De AI Blast Radius Beheren in Productie

In de snelle wereld van kunstmatige intelligentie is innovatie de drijvende kracht. Bedrijven omarmen AI om processen te stroomlijnen en efficiëntie te verbeteren. Een treffend voorbeeld hiervan is een systeem dat natuurlijke taalvragen omzette in API-aanroepen. Dit systeem, een gamechanger voor analisten, accountmanagers en operations leads, beloofde een einde te maken aan het handmatig verzamelen van gegevens uit diverse dashboards en rapportagetools. Een eenvoudige vraag zoals "Genereer een rapport over het verkoopvolume voor januari tot en met maart 2026 voor de regio Noordoost, uitgesplitst naar stad" werd naadloos vertaald in een gestructureerde API-aanroep. Het was een succesverhaal, gebouwd op Claude Sonnet 3.5, en latere upgrades naar 3.7 en 4.0 verliepen zonder problemen. Het team had vertrouwen opgebouwd in de stabiliteit en voorspelbaarheid van LLM's, zelfs voor wat zij als een "eenvoudig probleem" beschouwden. Ze dachten dat modelupgrades net zo routineus waren als het bijwerken van een stabiele softwarebibliotheek. Maar When Claude changed, everything changed: Managing AI blast radius in production werd plotseling een rauwe realiteit.

Halverwege 2025 draaide het systeem op volle toeren, met honderden rapporten per maand. Deze rapporten werden cruciaal voor leiderschap, analisten en externe belanghebbenden, en de tool was de standaard geworden voor ad-hoc dataverzoeken. De communicatie tussen de LLM en de rest van het systeem was een gestructureerd JSON-object, precies zoals gedefinieerd. Dit JSON-formaat garandeerde dat de informatie correct werd doorgegeven aan de backends – interne portalen, Salesforce en diverse eigen services. De daaropvolgende stappen waren conventionele engineering: de aanroep werd verzonden, een LLM-gegenereerde JSON-query filterde en vormde het antwoord, en het resultaat werd geleverd via e-mail, als Google Drive-document of als grafiek in de browser. De fundering leek rotsvast.

De plotselinge verstoring kwam met de uitrol van Sonnet 4.5. Een aanzienlijk deel van de verzoeken begon te falen. Het model begon op onverwachte wijze de inhoud van het post_body-veld samen te voegen in de description-field. Dit leidde tot twee ernstige storingen, die pijnlijk duidelijk maakten dat When Claude changed, everything changed: Managing AI blast radius in production meer inhield dan verwacht.

De Uitdaging van LLM-Upgrades: Waarom Traditionele Methoden Falen

Traditionele software-engineering steunt op de mogelijkheid om de impact van een wijziging af te bakenen. Bij het upgraden van een driver of bibliotheek bestudeert men de releasenotes op zoek naar potentiële breaking changes. Unit-tests omsluiten de mogelijke verschuivingen in gedrag. De onderliggende aanname is dat het systeem deterministisch genoeg is om het gedrag te voorspellen, of op zijn minst dicht genoeg te bemonsteren om vertrouwen te wekken. De zogenaamde "blast radius" – de reikwijdte van de mogelijke schade – is bij constructie begrensd. Dit is echter waar When Claude changed, everything changed: Managing AI blast radius in production een fundamentele verschuiving teweegbrengt.

LLM-gestuurde systemen doorbreken deze fundamentele aanname volledig. Het component dat de output genereert, valt niet onder de directe controle van de ontwikkelaar. Het is onmogelijk om een versie-upgrade van een model, zoals van 4.0 naar 4.5, op dezelfde manier te "diffen" als code. Het is een grootschalige vervanging van functionaliteit waarop het gehele systeem steunt. Dit fenomeen wordt door experts omschreven als een oneindige blast radius: een wijziging waarvan de downstream-effecten niet van tevoren kunnen worden vastgesteld. De reden hiervoor is tweeledig: de invoerruimte (natuurlijke taal) is onbegrensd, en de faalmodi (alles wat het model anders zou kunnen doen) zijn eveneens onbegrensd. Het beheren van de impact van AI-modelwijzigingen wordt hiermee een immense uitdaging in de productie-implementatie van AI, waarbij de onvoorspelbaarheid van LLM's centraal staat. De ervaring van dit team onderstreepte dat When Claude changed, everything changed: Managing AI blast radius in production niet slechts een marketinguitspraak is, maar een pijnlijke operationele realiteit.

De Anatomie van de Fout

Het post-mortem onderzoek bracht aan het licht dat de prompt, die aan het model werd gegeven, altijd te algemeen was gespecificeerd. Het team had het model geïnstrueerd om een JSON-object met drie velden terug te geven en had beschreven waarvoor elk veld diende. Wat echter niet expliciet was vermeld, was dat de description-field een natuurlijke-taalreeks moest zijn en géén geserialiseerde representaties van andere velden mocht bevatten. Dit gebrek aan specificatie bleek een cruciale zwakte.

Eerdere versies van het model hadden deze beperking uit de context afgeleid. Sonnet 4.5 daarentegen, blijkbaar beter in het "behulpzaam" zijn met zijn opmaakkeuzes, besloot dat het stellen van verhelderende vragen of het opnemen van de request body in de beschrijving de respons nuttiger zou maken. Vanuit het perspectief van het model was dit een redelijke interpretatie van een ambigue instructie. Echter, dit scheurde de aannames waarop ons systeem was gebouwd aan stukken. De eerste falenmodus was dat filterparameters nooit de API bereikten. Ons systeem las post_body als de bron van waarheid voor de request payload, en dat veld kwam leeg terug. De API-aanroep werd gedaan zonder het datum- of regiofilter, wat resulteerde in het retourneren van verkoopvolume voor alle tijden of alle regio's, of zelfs een 500-fout. De tweede faalmodus was dat het model begon met het stellen van verhelderende vragen in zijn respons. Dit was nieuw. Eerdere versies hadden altijd een 'best-effort'-benadering gekozen en een gestructureerd object geretourneerd. Sonnet 4.5, voorzichtiger, antwoordde soms met een vraag. Ons systeem had hier geen pad voor. Het was gebouwd op de aanname dat elke modelaanroep zou resulteren in een API-aanroep. Er was geen 'human-in-the-loop'-component en geen status om een gedeeltelijk voltooid verzoek vast te houden. Dit leidde tot storingen in downstream-systemen.

De bug lag niet in het model zelf. De fout zat in de aanname dat het model onze specificatiegaten zou blijven invullen zoals het altijd had gedaan. Drie succesvolle upgrades hadden het team doen geloven dat die gaten veilig waren. Dit illustreert perfect waarom When Claude changed, everything changed: Managing AI blast radius in production een diepgaand begrip van AI-gedrag vereist. We zagen de gevolgen van ondergespecificeerde prompts en het onverwacht gedrag van AI-modellen. Hoewel gestructureerde outputmodi en tool-use API's deze specifieke fout op schemaniveau hadden kunnen opvangen, lost een schema alleen de syntaxis op, niet de semantiek. Een schema kan niet specificeren dat een verhelderende vraag niet mag verschijnen in een systeem zonder pad voor verduidelijking, of dat een datumbereik nooit stilzwijgend mag terugvallen op "altijd". Schemas lossen slechts de gemakkelijkere helft van het probleem op. De rollback naar 4.0 was complexer dan verwacht, omdat nieuwe API-integraties moesten worden geherkwalificeerd.

De Evals-First Architectuur: De Oplossing

De discipline die deze kloof dicht, is het behandelen van de evaluatiesuite – niet de prompt – als de formele specificatie van het systeem. De prompt is een implementatie van de specificatie. Het model is een interpreter. De evals zijn de specificatie zelf, en elke model- of promptwijziging is alleen geldig als deze de evals passeert. Dit is een essentiële strategie voor When Claude changed, everything changed: Managing AI blast radius in production.

In de praktijk is een eval een drietal: een input, een eigenschap waaraan de output moet voldoen, en een scoringsfunctie. Voor ons systeem zag de eval die de 4.5 regressie zou hebben onderschept, er ongeveer zo uit:

def test_description_contains_no_serialized_payload(response):
    desc = response["description"].lower()
    forbidden = ["curl", "post_body", "{", "http://", "https://"]
    assert not any(token in desc for token in forbidden), \
        f"description leaked structured content: {response['description']}"

Een paar honderd van dergelijke eigenschappen, waarvan sommige handmatig zijn geschreven voor bekende, belangrijke invarianten, andere zijn gegenereerd als regressietests uit echt productieverkeer, en weer andere zijn beoordeeld door een LLM-als-rechter voor vagere kwaliteiten zoals tone of voice, vormen een poortwachter. Modelupgrades en promptwijzigingen moeten worden behandeld als pull-requests die de suite groen moeten maken voordat ze worden samengevoegd. Dit is de kern van evaluatiegestuurde ontwikkeling en een cruciaal onderdeel van het bouwen van robuuste AI-systemen. De adoptie van deze architectuur erkent dat When Claude changed, everything changed: Managing AI blast radius in production een continue bewaking vereist.

De Uitdagingen en Toekomst van Evals

Evals zijn kostbaar om te bouwen en te onderhouden. Ze kunnen 'driften' naarmate het product verandert. Scoren door een LLM-als-rechter introduceert zijn eigen variantie in de resultaten. Bovendien kan de suite alleen faalmodi opsporen die u hebt bedacht te specificeren – u kunt niet met evals veiligheid creëren tegen een categorie van falen die u nooit hebt kunnen voorstellen. Dit is een les die het team op de harde manier heeft geleerd: niemand had ooit een bewering geschreven die zei "de description-field mag geen curl-commando bevatten", omdat niemand had gedacht dat het model zoiets daar zou plaatsen. Dit benadrukt de complexiteit van continu testen van AI en de noodzaak om nieuwe AI-ontwikkelingsstandaarden te formuleren. Zelfs met een geavanceerde eval-strategie, blijft het een uitdaging om alle mogelijke, onverwachte uitkomsten te anticiperen, wat de complexiteit van When Claude changed, everything changed: Managing AI blast radius in production verder onderstreept.

Evals zijn geen wondermiddel. Ze bieden echter de mogelijkheid om de blast radius van een wijziging te begrenzen op de enige manier die beschikbaar is wanneer de onderliggende functie een black box is: door de input-output respons waarin u daadwerkelijk geïnteresseerd bent, dicht genoeg te bemonsteren en de implementatie te weigeren wanneer dat gedrag verschuift. Dit is de beste methode om de potentiële schade te beheersen die voortvloeit uit een verandering in een AI-model. De engineeringgemeenschap moet nog een body of knowledge ontwikkelen voor het schrijven van effectieve evals. Er zijn geen breed geaccepteerde standaarden voor wat 'dekking' betekent in natuurlijke taal inputruimtes. CI/CD-systemen zijn niet gebouwd om probabilistische testresultaten te beheren. Naarmate AI-agenten meer autonome taken op zich nemen – code schrijven, geld verplaatsen, infrastructuurwijzigingen plannen – wordt de kloof tussen "het model heeft onze rooktests doorstaan" en "we weten wat dit systeem in productie zal doen" het centrale engineeringprobleem van de komende jaren. De teams die die kloof dichten, zullen de teams zijn die evals niet langer als een kwaliteitsborgingsoverweging behandelen, maar als de daadwerkelijke specificatie van wat hun systeem is. De realiteit dat When Claude changed, everything changed: Managing AI blast radius in production dwingt ons tot een fundamentele heroverweging van onze ontwikkelingsprocessen.

Veelgestelde Vragen over When Claude Changed, Everything Changed: Managing AI Blast Radius in Production

Wat betekent "AI blast radius" in de context van productiesystemen?

De "AI blast radius" verwijst naar de onbegrensde en onvoorspelbare impact die veranderingen in een AI-model, vooral een LLM, kunnen hebben op een productiesysteem. In tegenstelling tot traditionele software-updates, waar de gevolgen vaak afgebakend zijn, kunnen wijzigingen in een LLM leiden tot een breed scala aan onverwachte falenmodi en verstoringen, wat de essentie is van When Claude changed, everything changed: Managing AI blast radius in production.

Waarom falen traditionele software-engineeringmethoden bij LLM-upgrades?

Traditionele methoden vertrouwen op determinisme en voorspelbaarheid, waarbij veranderingen getoetst kunnen worden aan duidelijke specificaties en unit-tests. LLM's zijn echter zwarte dozen die niet-deterministisch gedrag vertonen en waarvan de interne werking niet direct te "diffen" is bij een update. Dit betekent dat When Claude changed, everything changed: Managing AI blast radius in production door het gebrek aan voorspelbaarheid een onbeheersbaar risico kan vormen, wat vraagt om nieuwe benaderingen.

Hoe kan de "evals-first" architectuur helpen bij het beheren van de AI blast radius?

De evals-first architectuur behandelt de evaluatiesuite als de formele specificatie van het systeem, in plaats van de prompt. Elke model- of promptwijziging moet deze suite passeren voordat deze wordt geïmplementeerd. Dit biedt een methode om het input-output gedrag dicht genoeg te bemonsteren en zo onverwachte afwijkingen op te sporen, zelfs als de onderliggende AI-functionaliteit een black box is. Het is een proactieve manier om When Claude changed, everything changed: Managing AI blast radius in production te mitigeren.

Geniet van Entertainment met IPTV

Terwijl wij de complexiteit van AI navigeren en de impact van snelle technologische veranderingen beheren, is het soms fijn om te ontspannen met vertrouwde en betrouwbare technologie. Wilt u genieten van een wereld aan entertainmentopties, met toegang tot duizenden zenders en on-demand content van hoge kwaliteit? Ontdek dan vandaag nog de voordelen van onze geavanceerde IPTV-abonnementen. Geniet van films, series, sport en meer, rechtstreeks op uw favoriete apparaten. Wacht niet langer en ervaar het gemak en de rijkdom van IPTV. Klik hier en kies het abonnement dat bij u past: IPTV kopen.