AI heeft nog steeds een hallucinatieprobleem: hoe MongoDB dit wil oplossen met geavanceerde rerankers en insluitmodellen

Om het best mogelijke resultaat uit een AI-query te halen, hebben organisaties de best mogelijke gegevens nodig.

Het antwoord dat veel organisaties hebben gehad om die uitdaging te overwinnen is retrieval-augmented generation (RAG). Met RAG worden resultaten gebaseerd op data uit een database. Maar zoals blijkt, is niet alle RAG hetzelfde en kan het daadwerkelijk optimaliseren van een database voor de best mogelijke resultaten een uitdaging zijn.

Databaseleverancier MongoDB is geen onbekende in de wereld van AI of RAG. De gelijknamige database van het bedrijf wordt al gebruikt voor RAG en MongoDB heeft ook initiatieven voor de ontwikkeling van AI-applicaties gelanceerd. Hoewel het bedrijf en zijn gebruikers — zoals de medische gigant Novo Nordisk — succes hebben gehad met generatie AI, moet er nog meer gebeuren.

Met name hallucinatie en nauwkeurigheid blijven een probleem dat sommige organisaties ervan weerhoudt om gen AI in productie te nemen. Om die reden heeft MongoDB vandaag de overname aangekondigd van het particuliere Voyage AI , dat geavanceerde embedding- en retrievalmodellen ontwikkelt. Voyage haalde in oktober 2024 $ 20 miljoen aan financiering op in een ronde die werd ondersteund door clouddatagigant Snowflake. De overname brengt de expertise van Voyage AI op het gebied van embeddinggeneratie en reranking — cruciale componenten voor AI-gestuurde zoekopdrachten en retrieval — rechtstreeks naar het databaseplatform van MongoDB.

"Het afgelopen jaar, en vooral nu organisaties hebben geprobeerd na te denken over hoe ze AI-aangedreven applicaties kunnen bouwen, werd het steeds duidelijker dat de kwaliteit en het vertrouwen van de applicaties die ze bouwen, of het gebrek daaraan, een van de barrières werd voor het toepassen van AI op bedrijfskritische use cases", vertelde Sahir Azam, CPO van MongoDB, aan VentureBeat.

Het basisidee achter RAG is dat de generatie AI-engine niet alleen vertrouwt op een kennisbank van getrainde gegevens, maar dat deze gefundeerde gegevens uit een database kan halen.

Het maken van zeer nauwkeurige RAG is vrij complex en er is nog steeds een potentieel risico op hallucinaties — een uitdaging voor MongoDB en zijn gebruikers. Hoewel Azam weigerde een specifiek voorbeeld of incident te geven waarbij gen AI RAG een gebruiker in de steek liet, merkte hij wel op dat nauwkeurigheid altijd een zorg is.

Het verbeteren van de nauwkeurigheid en het verminderen van hallucinaties omvat meerdere stappen. De eerste is het verbeteren van de kwaliteit van het ophalen (de 'R' in RAG).

"In veel gevallen is de ophaalkwaliteit niet goed genoeg", vertelde Tengyu Ma, oprichter en CEO van Voyage AI, aan VentureBeat. "Als ze in de ophaalstap geen relevante informatie ophalen, is het ophalen niet erg nuttig en hallucineert het grote taalmodel (LLM) omdat het een bepaalde context moet raden."

De Voyage AI-modellen die nu deel uitmaken van MongoDB, helpen RAG op een aantal belangrijke manieren te verbeteren:

• Domeinspecifieke modellen en re-rankers: Deze worden getraind op grote hoeveelheden ongestructureerde data uit specifieke verticals, waardoor ze de terminologie en semantiek van die domeinen beter kunnen begrijpen.
• Aanpassing en verfijning: gebruikers kunnen het ophaalmechanisme voor unieke datasets en use cases verfijnen.

MongoDB is niet de eerste of enige leverancier die de noodzaak en waarde van zeer geoptimaliseerde embedding- en re-rankertechnologie erkent. Dat is immers een van de redenen waarom Snowflake in Voyage AI heeft geïnvesteerd en de modellen van het bedrijf gebruikt.

Het is belangrijk om op te merken dat, zelfs na de overname door MongoDB, de modellen van Voyage AI nog steeds beschikbaar zullen zijn voor Snowflake en voor andere gebruikers van Voyage AI. Het grote verschil is dat Voyage AI nu steeds meer geïntegreerd zal worden in de databaseplatforms van MongoDB.

Geavanceerde embeddingmodellen direct integreren in een database is een aanpak die ook door andere concurrerende databaseleveranciers wordt gehanteerd. In juni 2024 kondigde DataStax zijn eigen RAGStack-technologie aan die geavanceerde embedding- en retrievalmodellen combineert.

Azam betoogde dat MongoDB een beetje anders is. Ten eerste is het een operationele database, in tegenstelling tot een analytische database. En in tegenstelling tot het leveren van inzichten en analyses, helpt MongoDB transacties en real-world operations aan te sturen. MongoDB is ook wat bekend staat als een "document model database", die een andere structuur heeft dan een traditionele relationele database. Die structuur is niet afhankelijk van kolommen en tabellen, die niet bijzonder goed zijn in het weergeven van informatie over ongestructureerde data (een cruciaal element voor AI-toepassingen).

"Wij zijn de enige databasetechnologie die het beheer van metadata over de informatie van een klant, de activiteiten en transacties, wat de hartslag is van wat er in het bedrijf gebeurt, en de basis voor het ophalen ervan combineert - allemaal in één enkel systeem", aldus Azam.

De behoefte aan uiterst nauwkeurige insluit- en ophaalmodellen wordt nog groter door agentische AI.

"Agentic AI heeft nog steeds ophaalmethoden nodig, omdat een agent geen beslissingen kan nemen buiten de context", aldus Ma. "Soms worden er zelfs in één beslissing meerdere ophaalcomponenten gebruikt."

Ma merkte op dat Voyage AI momenteel werkt aan specifieke modellen die sterk zijn aangepast voor agentische AI-use cases. Hij legde uit dat agentische AI ​​verschillende soorten query's kan gebruiken die nog steeds kunnen profiteren van meer optimalisatie.

Nu gen AI steeds meer operationele use cases binnenkomt, is de noodzaak om het risico op hallucinaties weg te nemen duidelijk van het grootste belang. Hoewel MongoDB succes heeft gehad met gen AI, verwacht Azam dat de integratie van Voyage AI nieuwe missiekritieke use cases zal openen.

"Als we nu kunnen zeggen: 'Hé, we kunnen u ruim 90% nauwkeurigheid bieden voor uw toepassingen, terwijl we nu in sommige gevallen slechts 30 of 60% nauwkeurigheid voor de resultaten halen', dan wordt de reikwijdte groter wat betreft de soorten mogelijkheden die mensen kunnen benutten om AI toe te passen in hun softwaretoepassingen", aldus Azam.

Dagelijkse inzichten in zakelijke use cases met VB Daily

Als u indruk wilt maken op uw baas, dan bent u bij VB Daily aan het juiste adres. Wij geven u de inside scoop over wat bedrijven doen met generatieve AI, van regelgevende verschuivingen tot praktische implementaties, zodat u inzichten kunt delen voor maximale ROI.

Lees ons privacybeleid

Bedankt voor uw inschrijving. Bekijk hier meer VB-nieuwsbrieven .

Er is een fout opgetreden.