Hetzelfde AI-model, vier databronnen en vier totaal verschillende antwoorden. Organisaties zetten AI-agents steeds vaker in voor kredietbeoordeling, leveranciersscreening en compliance. De belangrijkste vraag is daarbij niet of AI overtuigend klinkt, maar of het antwoord ook klopt.
Lors ons recente webinar stelde Generative AI Expert Lars Wouters vier keer exact dezelfde vraag aan een AI-agent: geef een rapport over Dun & Bradstreet B.V., inclusief het aantal medewerkers, de omzet en de locatie. Bij iedere poging kreeg de agent meer toegang tot informatie: eerst alleen de trainingsdata van het LLM, daarna internet, vervolgens de D&B Direct+ API en tot slot D&B MCP. De vraag bleef gelijk, maar de antwoorden verschilden sterk. Omdat het om onze eigen entiteit ging, konden we precies toetsen wanneer AI alleen overtuigend klonk en wanneer het antwoord ook werkelijk klopte.
Een AI-model zonder bronnen hallucineert met volle overtuiging
Het eerste antwoord was uitsluitend gebaseerd op trainingsdata. Het las vlot en oogde volledig, maar bleek op meerdere punten onjuist. Zo noemde het model een verouderd kantooradres, omschreef het Dun & Bradstreet B.V. ten onrechte als dochteronderneming van een Amerikaans beursgenoteerd moederbedrijf, gebruikte het jaarcijfers van vier tot vijf jaar oud en schatte het aantal medewerkers op 50 tot 70.
Dit wordt hallucineren genoemd: het model formuleert een logisch en geloofwaardig antwoord dat niet is gebaseerd op actuele en gevalideerde feiten. Juiste en onjuiste informatie worden daarbij met dezelfde overtuiging gepresenteerd. Voor een marketingtekst is dat vaak nog te corrigeren. Bij kredietbeslissingen, leveranciersscreening of compliancecontroles kan het tot verkeerde conclusies leiden.
Lisez aussi : Quand l’IA paraît sûre d’elle… mais se trompe
Internettoegang maakt AI-antwoorden vollediger, maar niet betrouwbaarder
Met internettoegang werd het antwoord actueler. Het model herkende nu correct dat Dun & Bradstreet in de Benelux onderdeel is van Altares. Toch werd het nauwelijks bruikbaarder. Het aantal medewerkers kwam terug als een bandbreedte van 51 tot 200 en een exact geregistreerd adres kon het model niet vinden.
Bedrijfsinformatie is verspreid over websites, registers en openbare documenten, waarvan de betrouwbaarheid en actualiteit niet altijd duidelijk zijn. Het model moet zelf bepalen welke bron het meest gezaghebbend is en kiest bij twijfel voor brede marges. Het probleem is dus niet een gebrek aan data, maar een gebrek aan betrouwbare bedrijfsdata.
Een API geeft toegang tot gevalideerde data, maar alleen tot wat is gekoppeld
In het derde deel van het experiment werd de agent via een klassieke API verbonden met gevalideerde D&B-data. Daardoor ontstond een veel nauwkeuriger en controleerbaarder bedrijfsbeeld. De agent vond onder meer het juiste adres, het exacte medewerkersaantal, de correcte registratienummers en financiële gegevens.
De API-koppeling liet tegelijkertijd een beperking zien. Ieder datablok moest afzonderlijk worden aangesloten. Toen één blok ontbrak, kon de agent die informatie niet gebruiken. Een API geeft AI dus toegang tot betrouwbare data, maar alleen tot de gegevens die vooraf expliciet zijn gekoppeld.
D&B MCP combineert betrouwbare data met de juiste context
In het vierde deel werd dezelfde vraag gesteld via D&B MCP. Met één endpoint kreeg de agent toegang tot alle beschikbare datablokken én tot de context die bepaalt wanneer welke informatie relevant is.
Daar zit de meerwaarde van MCP. Een AI-agent die kredietrisico beoordeelt, heeft andere informatie nodig dan een agent die een compliancecheck uitvoert. Door die expertise in de verbinding mee te geven, kan AI gerichter zoeken, relevantere data selecteren en consistenter werken, zonder voor iedere toepassing afzonderlijke koppelingen of complexe software te bouwen.
De kwaliteit van AI begint bij de kwaliteit van de data
Met directe toegang tot D&B-data ontstond een volledig en controleerbaar bedrijfsbeeld. Iedere uitspraak was terug te voeren op een bron met een bekende herkomst en actualiteit. Dat is essentieel bij kredietbeoordeling, leveranciersscreening, klantonderzoek en compliance, waar organisaties moeten kunnen uitleggen waarop een beslissing is gebaseerd.
AI-modellen worden steeds krachtiger, maar gaan ook steeds meer op elkaar lijken. De uitkomst van het experiment is daarom des te relevanter: vier keer hetzelfde LLM, vier verschillende antwoorden. Niet het model zelf, maar de toegang tot de juiste data en context bepaalde de kwaliteit van het resultaat.
Met het D&B.AI Ecosystem helpen we organisaties om AI-systemen te verbinden met geverifieerde bedrijfsdata. Tijdens een AI-strategiesessie brengen we samen in kaart welke toepassingen het meest kansrijk zijn en waar betrouwbare data binnen jouw processen de meeste waarde toevoegt.
