Waarom zoeken met AI zo moeilijk is – en hoe Happeo dit onder de knie krijgt

De mogelijkheden van AI-gestuurde zoekfuncties binnen een bedrijf zijn veelbelovend. Stel je voor dat medewerkers moeiteloos precies die informatie vinden die ze nodig hebben, zonder te hoeven zoeken tussen verouderde documenten en irrelevante berichten. Het is een visie van verhoogde productiviteit, naadloze kennisuitwisseling en een hechter team. Maar de realiteit van AI-zoekfuncties, met name in de complexe omgeving van een intranet, is veel genuanceerder.

Hoe AI-zoekfuncties werken

Niet alle AI is hetzelfde. Er zijn verschillende soorten AI-modellen die als basis kunnen dienen voor AI-functionaliteit, waarbij het large-language model (LLM) tot de populairste behoort vanwege zijn diepgaand begrip van context en mensachtige reacties. Dit maakt LLM tot een uitstekende keuze, met name voor AI-zoektechnologie.

De meeste AI-aangedreven zoekfuncties zijn gebaseerd op een architectuur en aanbevolen actiepunten die ‘Retrieval-Augmented Generation’ (RAG) worden genoemd. Eenvoudig gezegd fungeert de AI als een zeer efficiënte bibliothecaris, die de volgende stappen volgt:

• Retrieval: De AI doorzoekt uw intranet en eventuele geïntegreerde bronnen op basis van de zoekopdracht van de gebruiker.
• Augmentation: De AI gebruikt de gevonden informatie om een antwoord te formuleren.
• Generation: Het antwoord wordt op een natuurlijke, begrijpelijke manier aan de gebruiker gepresenteerd.

Het lijkt eenvoudig en door alle hype rond AI lijkt het inderdaad een kant-en-klare oplossing. Toch schuilen er enkele aanzienlijke hindernissen in dit proces.

Betrouwbaarheid en kwaliteit van gegevens

AI is geen materiedeskundige; het is slechts een verzamelaar en samenvatter van informatie, een ‘bibliothecaris’, zoals we het noemen, met uitgebreide toegang tot informatie. Het is het opvraagproces dat de bibliothecaris helpt te begrijpen wat de gebruiker wil en daarop te reageren met een samengesteld antwoord.

De antwoorden zijn volledig afhankelijk van de kwaliteit en nauwkeurigheid van de gegevens die het vindt. Het kan van nature niet bepalen welke informatie „juist“ of „onjuist“ is. Het kan alleen beoordelen wat er bestaat, en vervolgens – op basis van gebruikersmetadata en informatiemetadata – een weloverwogen inschatting maken van de relevantie van die informatie.

Dit brengt drie cruciale uitdagingen met zich mee:

• Inconsistente gegevens: Als uw intranet vol staat met verouderde beleidsregels, tegenstrijdige instructies of ongeordende informatie, zal de AI moeite hebben om betrouwbare antwoorden te geven.
• Ontbrekende gegevens: Als de kennis die uw medewerkers zoeken simpelweg niet bestaat binnen uw intranet of aangesloten systemen, heeft de AI niets om mee te werken.
• Integreer alle gegevens binnen de organisatie en filter de relevante informatie eruit.

De gevaren van AI-‘bijna-fouten’ en hallucinaties

Een van de meest frustrerende aspecten van AI-zoekopdrachten is de ‘bijna-treffer’. De AI kan informatie vinden die bijna klopt, wat leidt tot antwoorden die op het eerste gezicht juist lijken, maar subtiele onnauwkeurigheden of misleidende conclusies bevatten.

Een andere uitdaging die moet worden overwonnen, zijn AI-‘hallucinaties’: wanneer een vraag wordt gesteld en de AI geen referentie heeft om nauwkeurig te antwoorden, verzint de AI een antwoord dat volgens haar redelijk is. Deze AI-‘hallucinaties’ kunnen het vertrouwen in de zoekfunctie ondermijnen en medewerkers op het verkeerde spoor zetten. Voor het succes van AI-zoekfuncties is het van cruciaal belang om – in plaats van kennislacunes op te vullen met verzonnen informatie – die lacunes te identificeren en correcte inhoud te creëren om de voor de AI toegankelijke gegevenspool te verrijken.

Een stapsgewijze aanpak voor het verfijnen van AI

Hoewel de ultieme oplossing ligt in het verbeteren van de onderliggende gegevens, werkt Happeo actief aan het verminderen van deze problemen door middel van voortdurende verfijningen:

• Evaluatie vóór en na de aanvulling: Door de opgehaalde informatie te beoordelen voordat deze wordt gebruikt om een antwoord te genereren, en vervolgens het antwoord zelf te evalueren, kunnen we zeer zeker zijn van de kwaliteit van het antwoord. En we tonen de evaluatie van het antwoord ook daadwerkelijk, zodat u er zeker van kunt zijn dat het antwoord correct was.
• Verbeteringen in het ophalen van informatie: Door het zoekalgoritme voortdurend te verbeteren, zorgen we ervoor dat de AI de meest relevante en betrouwbare bronnen ophaalt, waardoor de kans op een ‘bijna-misser’ wordt verkleind.
• Contextueel begrip: Door de gebruiker te begrijpen, kan het zoekprogramma de relevante informatie gemakkelijker vinden. Dit omvat een beter begrip van het gebruikersprofiel (functie, afdeling, eerder zoekgedrag) en het temporele aspect van de resultaten, waardoor de relevantie van het antwoord wordt verbeterd.

• Stapsgewijze en iteratieve verrijking: Naarmate er in de loop van de tijd nieuwe inhoud wordt toegevoegd en verdere verbeteringen worden doorgevoerd, worden de onderliggende gegevens voorzien van meer context en nauwkeurigheid.

De ultieme oplossing: de Knowledge Engine

Hoewel deze verfijningen helpen, is de echte sleutel tot betrouwbaar zoeken met AI ervoor te zorgen dat de gegevens waarop het zich baseert nauwkeurig, volledig en actueel zijn. Het gaat niet alleen om gegevens en informatie. Gegevens en informatie zijn feiten, maar de manier waarop die informatie wordt begrepen, gefilterd en aangevuld waar deze ontbreekt, is hoe informatie wordt omgezet in kennis.

Daarom zorgt de binnenkort te verschijnen Knowledge Engine van Happeo voor een revolutie in AI-zoekfuncties (en meer). Deze geavanceerde tool gaat verder dan traditionele AI-zoekfuncties door het volgende mogelijk te maken:

• Detectie van hiaten: Het identificeert proactief kennishiaten binnen je Happeo-intranet op basis van gebruikersacties en biedt gebruikers suggesties om informatie te vinden die verder gaat dan de zoekresultaten. Cruciaal is dat het kennishiaten verzamelt en deze toewijst aan vakexperts.
• Kenniscreatie: Het vergemakkelijkt het creëren van nieuwe content om die hiaten op te vullen door gebruik te maken van onze nieuwe Pages AI en Writing Assistant.
• Gebruikersmelding: Het informeert medewerkers die naar die informatie hebben gezocht automatisch via een gepersonaliseerd dashboard dat deze nu beschikbaar is.

Door de kennisbank van uw intranet actief te beheren en te cureren, zorgt onze Knowledge Engine ervoor dat elke medewerker (en AI) toegang heeft tot de meest accurate en actuele informatie – direct en altijd.

De toekomst van AI-aangedreven zoeken

AI-zoekfuncties zijn een snel evoluerend vakgebied en Happeo is er trots op voorop te lopen op het gebied van innovatie. Hoewel er nog uitdagingen zijn, ligt het potentieel voor een werkelijk intelligente, betrouwbare zoekfunctie binnen handbereik. Door geavanceerde AI te combineren met een robuust kennisbeheersysteem, bouwen we aan een intranetervaring die medewerkers voorziet van de informatie die ze nodig hebben, precies op het moment dat ze die nodig hebben.

AI-aangedreven zoeken werkt doorgaans op basis van een architectuur die bekendstaat als Retrieval-Augmented Generation, of RAG. Het systeem fungeert als een uiterst efficiënte digitale bibliothecaris en doorloopt een driestappenproces om natuurlijke, mensachtige antwoorden te geven. Dit proces is gebaseerd op grote taalmodellen die zijn geselecteerd vanwege hun diepgaand begrip van de context.

De eerste stap in dit proces is het ophalen van informatie. Wanneer een medewerker een zoekopdracht in de zoekbalk van het intranet invoert, scant de AI het gehele intranet en alle geïntegreerde externe gegevensbronnen. Het verzamelt alle relevante inhoud op basis van de gebruikte termen en de intentie achter de vraag van de gebruiker.

De tweede stap is aanvulling. Hier neemt het systeem alle ruwe informatie die het zojuist heeft opgehaald en structureert deze, waarbij de gegevens worden gebruikt om zorgvuldig een samenhangend antwoord te formuleren. Dit zorgt ervoor dat de informatie in de juiste context wordt geplaatst voordat deze naar de laatste fase wordt doorgestuurd.

De laatste stap is generatie. Het AI-systeem verwerkt het geformuleerde antwoord en levert dit rechtstreeks aan de gebruiker. In plaats van alleen een lijst met links weer te geven, presenteert het het definitieve antwoord in een natuurlijke, conversatieachtige en zeer begrijpelijke vorm.

AI-zoekmachines beschikken niet over inherente vakkennis. In plaats daarvan fungeren ze als synthesizers die volledig afhankelijk zijn van de kwaliteit, nauwkeurigheid en volledigheid van de gegevens die voor hen beschikbaar zijn. Omdat een AI niet op natuurlijke wijze kan bepalen wat feitelijk juist of onjuist is, moet het weloverwogen gissingen doen op basis van metadata.

Deze afhankelijkheid van bestaande gegevens leidt tot ‘bijna-treffers’ wanneer de AI informatie vindt die bijna correct is. Het systeem genereert dan een antwoord dat op het eerste gezicht zeer nauwkeurig lijkt, maar in werkelijkheid subtiele onnauwkeurigheden of misleidende conclusies bevat. Deze bijna-treffers kunnen het vertrouwen van medewerkers in de zoekfunctie snel ondermijnen.

Er treden ‘hallucinaties’ op wanneer een medewerker een vraag stelt waarvoor de AI geen referentiegegevens heeft om te beantwoorden. Omdat er een kennislacune is, verzint het systeem een antwoord dat het als redelijk beschouwt. Om dit te voorkomen, moet het zoekplatform actief ontbrekende informatie identificeren en gebruikers aansporen om correcte inhoud te creëren om die lacunes op te vullen.

De Knowledge Engine verbetert de nauwkeurigheid door statische gegevens om te zetten in actieve, samengestelde kennis. In plaats van alleen maar bestaande bestanden te doorzoeken, beheert en zuivert deze tool actief de kennisbank van uw intranet. Dit doet het door middel van drie belangrijke functies: het opsporen van hiaten, het creëren van kennis en het informeren van gebruikers.

Door middel van het opsporen van hiaten stelt het systeem proactief vast wanneer medewerkers zoeken naar informatie die niet op het intranet aanwezig is. In plaats van de AI een antwoord te laten verzinnen, registreert de tool deze mislukte zoekopdrachten. Vervolgens markeert het automatisch deze kennislacunes en wijst deze toe aan relevante vakspecialisten binnen het bedrijf.

Om deze experts te ondersteunen, faciliteert de engine het creëren van kennis. Het maakt gebruik van ingebouwde functies zoals Pages AI en een schrijfassistent om experts te helpen snel de ontbrekende inhoud op te stellen. Dit zorgt ervoor dat de database van het intranet voortdurend wordt vernieuwd met nauwkeurige, actuele informatie.

Ten slotte zorgt de tool voor gebruikersmeldingen. Zodra de ontbrekende informatie is gecreëerd en gepubliceerd, waarschuwt het systeem automatisch de medewerkers die er eerder naar hebben gezocht. Deze updates worden rechtstreeks via een gepersonaliseerd dashboard verstuurd, zodat iedereen op de hoogte blijft.

Veelgestelde vragen

Hoe werkt AI-gestuurde zoekfunctie op een intranetplatform?
AI-aangedreven zoeken maakt doorgaans gebruik van een architectuur die Retrieval-Augmented Generation (RAG) wordt genoemd en is gebaseerd op grote taalmodellen. Het werkt in drie stappen: retrieval, waarbij de AI het intranet en gekoppelde bronnen doorzoekt op overeenkomende inhoud; augmentation, waarbij de ruwe informatie wordt gestructureerd tot een samenhangend antwoord; en generation, waarbij een natuurlijk, conversatiegericht antwoord wordt gegeven in plaats van alleen een lijst met links.

Waarom kan AI-zoekfunctie niet bepalen of informatie juist of onjuist is?
AI is geen materiedeskundige — het is een informatieverzamelaar en -synthesizer waarvan de antwoorden volledig afhangen van de kwaliteit en nauwkeurigheid van de gegevens die het vindt. Het kan alleen beoordelen wat er bestaat en een weloverwogen inschatting maken van de relevantie op basis van metadata, maar kan de feitelijke juistheid niet onafhankelijk verifiëren.

Wat zorgt ervoor dat AI-zoekmachines ‘hallucineren’ of ‘bijna-juiste’ antwoorden geven?
Bijna-treffers doen zich voor wanneer de AI informatie vindt die bijna juist is, waardoor een antwoord ontstaat dat er nauwkeurig uitziet maar subtiele onnauwkeurigheden bevat. Hallucinaties doen zich voor wanneer er helemaal geen referentiegegevens zijn om een vraag te beantwoorden, waardoor de AI een aannemelijk klinkend antwoord verzint in plaats van de kenniskloof toe te geven.

Hoe verbetert de Happeo Knowledge Engine de nauwkeurigheid van het intranetzoekproces?
De Knowledge Engine verbetert de nauwkeurigheid door statische gegevens om te zetten in actief beheerde, samengestelde kennis in plaats van alleen maar in bestaande bestanden te zoeken. Dit doet de engine via drie functies: het opsporen van hiaten, het creëren van kennis en het informeren van gebruikers, waardoor de kennisbank van het intranet voortdurend wordt vernieuwd in plaats van dat de AI hiaten opvult met verzonnen antwoorden.

Wat zijn de drie belangrijkste functies van de Knowledge Engine?
Het opsporen van hiaten signaleert proactief wanneer medewerkers zoeken naar informatie die niet bestaat en wijst die hiaten toe aan vakexperts. Kenniscreatie maakt gebruik van Pages AI en een schrijfassistent om die experts te helpen de ontbrekende inhoud snel op te stellen. Gebruikersmeldingen waarschuwen vervolgens automatisch iedereen die eerder naar die informatie heeft gezocht zodra deze is gepubliceerd.

Wat kunnen organisaties doen om de betrouwbaarheid van AI-zoekopdrachten te verbeteren terwijl ze toewerken naar een volledige kennisbeheeroplossing?
Nuttige stapsgewijze maatregelen zijn onder meer evaluaties vóór en na de uitbreiding om de kwaliteit van de antwoorden te beoordelen, voortdurende verbeteringen aan het opvraagalgoritme, een beter contextueel begrip van de gebruiker (rol, afdeling, eerder zoekgedrag) en een iteratieve verrijking van de onderliggende gegevens in de loop van de tijd naarmate er nieuwe inhoud wordt toegevoegd.