Naar inhoud

Kies je stijl: Denkbaar

Plan een gesprek

Artikelen

Kennis

OpenSearch: je kennis erin, en zoeken met AI

Zo zet je documenten in OpenSearch en vind je ze terug met zoeken op woorden én op betekenis, met de bron erbij.

Een medewerker vergelijkt een antwoord op een laptop met documenten naast een kleine server.
Een antwoord met bronnen kun je controleren. Illustratie: Denkbaar.

OpenSearch is open source software om te zoeken en te analyseren: in tekst, in logs en op betekenis (vector search). Het valt onder Apache-2.0 en is een project van de Linux Foundation.

In gewone technische taal OpenSearch slaat documenten op in een index en zoekt erin. Hybride zoeken combineert zoeken op woorden met zoeken op betekenis. Een taalmodel schrijft daarna een antwoord met de id’s van de bronnen.

Waarom het ertoe doet

Een AI-assistent die je bedrijfskennis niet kent, verzint antwoorden. Een assistent die eerst zoekt in je eigen documenten en de bron noemt, kun je controleren. Met OpenSearch op je eigen server blijft die kennis bij jou.

Twee routes met balken en verbonden punten komen samen bij één resultaatkaart.
Hybride zoeken combineert woorden met betekenis. Illustratie: Denkbaar.

Hoe het werkt

Documenten

Opknippen in stukken

Index: woorden en vectoren

Vraag

Hybride zoeken

Scores gelijk trekken en combineren

Herordenen

Antwoord met bron-id's

Je knipt documenten in stukken, zoekt op woorden en betekenis, combineert de scores en laat het model antwoorden met bronnen.

De documentatie van OpenSearch legt het zo uit: hybride zoeken combineert trefwoorden en betekenis. Een search pipeline zet de scores van beide zoekvragen op één schaal en combineert ze. De standaardmethode heet min_max. Een andere optie rangschikt op positie (reciprocal rank fusion).

Uit een eerder project dat we bestudeerden, een assistent die medewerkers van een klantenservice helpt, namen we mee:

  • Zoek op twee niveaus: kleine stukken tekst en hele documenten.
  • Laat een apart model de beste resultaten opnieuw ordenen (een reranker).
  • Laat het antwoord altijd de id’s van de bronnen noemen.
  • Meet het zoeken los van het antwoord, met vaste maten: hoe vaak zit het goede document in de top, en op welke plek.
Een hand schuift een groene bronkaart naar voren tussen andere kaarten.
Meet eerst of het juiste document bovenaan komt. Illustratie: Denkbaar.

Wat je doet

  1. Kies één verzameling documenten die mensen vaak nodig hebben.
  2. Zet OpenSearch op een eigen server en laad de documenten in.
  3. Schrijf twintig vragen waarvan je het juiste document kent.
  4. Meet of dat document bovenaan komt, en verbeter tot het goed genoeg is.
  5. Zet pas daarna een taalmodel op het antwoord.

Wat we met je kunnen doen: we zetten je kennis in een zoekindex op je eigen server, en bouwen er een assistent op die zijn bronnen noemt. Plan een gesprek.