Naar inhoud

Kies je stijl: Denkbaar

Plan een gesprek

Artikelen

Kennis

AI-pijplijnen en het idee achter data science

Een AI-pijplijn is een vaste reeks stappen. AI leest, software rekent, mensen beslissen. Zo bouw je er een die je kunt vertrouwen.

Een vrouw controleert een oranje kaart naast een laptop en bakken met documenten.
AI leest, software controleert en een mens beslist bij twijfel. Illustratie: Denkbaar.

Een AI-pijplijn is een vaste reeks stappen waar data doorheen gaat: binnenhalen, opschonen, uitlezen, controleren, opslaan, tonen. AI doet één of twee van die stappen, niet alles.

In gewone technische taal Een pijplijn is een vaste volgorde van stappen met data als invoer. Een taalmodel leest tekst en zet die om naar velden. Regels en code controleren de velden, en een mens beslist bij twijfel.

Waarom het ertoe doet

Data science is het vak dat met statistiek, code en methode kennis haalt uit rommelige data. Het grootste deel van dat werk is niet het model, maar de data begrijpen. Andrej Karpathy schrijft in zijn recept: de eerste stap is geen code, maar word één met de data. Hij vond zo dubbele voorbeelden en foute labels.

Zet je alles bij een taalmodel neer, dan krijg je elke keer een iets ander antwoord. Voor een factuur of een voorraad wil je dat het klopt, elke keer. Daarom: AI leest, software rekent, mensen beslissen.

Een medewerker sorteert kaarten op een tafel en vergelijkt twee kaarten.
Bekijk eerst de data om dubbele voorbeelden en fouten te vinden. Illustratie: Denkbaar.

Hoe het werkt

neejatwijfelgoed

Invoer: PDF, mail, Excel

Genoeg om te verwerken?

Vaste melding, geen modelaanroep

AI leest en vult velden

Regels controleren

Mens beslist

Opslaan en tonen

Een goedkope check vóór het model, regels erna, en een mens bij twijfel.

Uit een eerder project dat we bestudeerden, een realtime assistent voor klantenservice, namen we vier lessen mee:

  • Check vóór je genereert. Te weinig invoer? Dan geen modelaanroep, maar een vaste tekst. Dat scheelt geld en fouten.
  • Feiten uit regels, taal uit het model. Een regel bepaalt dat een waarschuwing nodig is; het model maakt er alleen een leesbare zin van.
  • Elke stap apart te testen, met een nepversie van de externe systemen.
  • Logs met alleen id’s, geen persoonsgegevens.
Een bijna lege bak met documenten staat voor een gesloten poort naast een open route.
Te weinig invoer betekent geen modelaanroep. Illustratie: Denkbaar.

Wat je doet

  1. Kijk eerst zelf naar honderd echte voorbeelden van je data.
  2. Teken de stappen. Zet bij elke stap: AI, code of mens.
  3. Bouw eerst de hele lijn met eenvoudige stappen, en verbeter daarna per stap.
  4. Meet per stap hoe vaak hij goed is.

Een voorbeeld uit ons eigen werk: voor een zoekmachine vergeleken we een vaste scraping-pijplijn met een agent die zelf zocht. De pijplijn deed er 32 minuten over en vond 49 aanbieders. De agent deed er 10 minuten over en vond er 53.

Wat we met je kunnen doen: we tekenen samen je datastroom en bouwen de pijplijn, met AI alleen waar het helpt. Plan een gesprek.

Bronnen

  1. Andrej Karpathy: A Recipe for Training Neural Networks (2019)
  2. Wikipedia: Data science

Onderwerpen: pipelinesdatamethod