Naar inhoud

Kies je stijl: Denkbaar

Plan een gesprek

Artikelen

Kennis

Eerst de dunste echte lijn, van begin tot eind

Wat we leren van Karpathy's recept voor het trainen van neurale netwerken: bouw eerst het kleinste geheel dat echt werkt, en maak het pas daarna beter.

Een medewerker verbindt een document via één kleine module met een werkend scherm.
Bouw eerst de kleinste echte lijn van begin tot eind. Illustratie: Denkbaar.

In 2019 schreef Andrej Karpathy “A Recipe for Training Neural Networks”. Het gaat over neurale netwerken, maar de les past op bijna alles wat je bouwt, ook met AI.

Waarom snel en ruw niet werkt

Karpathy begint met twee waarschuwingen. Training is een “leaky abstraction”: je kunt het niet als een doos gebruiken zonder te snappen wat erin gebeurt. En training “fails silently”: een fout geeft vaak geen melding, het resultaat is alleen wat slechter. Daarom, schrijft hij, werkt een “fast and furious” aanpak niet.

Een open kast toont een verkeerd geplaatste oranje verbinding naast een bijna normaal resultaat.
Sommige fouten geven geen melding en maken alleen het resultaat slechter. Illustratie: Denkbaar.

Het recept in zes stappen

  1. Word één met de data.
  2. Zet het hele geraamte van begin tot eind op, met domme basislijnen.
  3. Overfit.
  4. Regulariseer.
  5. Stem af.
  6. Haal er het laatste uit.
Een ontwikkelaar vergelijkt enkele voorbeeldkaarten met een eenvoudige grafiek op een laptop.
Controleer elke volgende verbetering met een werkende keten en begrijpelijke maten. Illustratie: Denkbaar.

Stap 2 is de dunste lijn

In stap 2 kies je een eenvoudig model “that you couldn’t possibly have screwed up somehow”, zoals een lineaire classifier. Het doel is niet een goed resultaat. Het doel is een keten die echt werkt, van data tot meting, zodat je elke volgende stap kunt controleren.

Een paar van zijn tips:

  • Gebruik altijd een vaste random seed. Dan geeft dezelfde code twee keer dezelfde uitkomst.
  • Controleer dat de loss begint bij de waarde die je verwacht.
  • Overfit eerst één kleine batch van een paar voorbeelden.
  • Kijk ook naar maten die een mens kan lezen en controleren, zoals de nauwkeurigheid.

Hoe wij dit gebruiken

Wij bouwen zo ook software. Eerst de kleinste versie die echt van begin tot eind werkt: een echte aanroep, echte data, een echt scherm. Pas daarna maken we het breder, sterker en mooier, en bij elke stap testen we de hele lijn opnieuw.

Bronnen

  1. Andrej Karpathy: A Recipe for Training Neural Networks (25 april 2019)

Onderwerpen: werkwijzekarpathytesten