Kennis
Eerst de dunste echte lijn, van begin tot eind
Wat we leren van Karpathy's recept voor het trainen van neurale netwerken: bouw eerst het kleinste geheel dat echt werkt, en maak het pas daarna beter.

In 2019 schreef Andrej Karpathy “A Recipe for Training Neural Networks”. Het gaat over neurale netwerken, maar de les past op bijna alles wat je bouwt, ook met AI.
Waarom snel en ruw niet werkt
Karpathy begint met twee waarschuwingen. Training is een “leaky abstraction”: je kunt het niet als een doos gebruiken zonder te snappen wat erin gebeurt. En training “fails silently”: een fout geeft vaak geen melding, het resultaat is alleen wat slechter. Daarom, schrijft hij, werkt een “fast and furious” aanpak niet.

Het recept in zes stappen
- Word één met de data.
- Zet het hele geraamte van begin tot eind op, met domme basislijnen.
- Overfit.
- Regulariseer.
- Stem af.
- Haal er het laatste uit.

Stap 2 is de dunste lijn
In stap 2 kies je een eenvoudig model “that you couldn’t possibly have screwed up somehow”, zoals een lineaire classifier. Het doel is niet een goed resultaat. Het doel is een keten die echt werkt, van data tot meting, zodat je elke volgende stap kunt controleren.
Een paar van zijn tips:
- Gebruik altijd een vaste random seed. Dan geeft dezelfde code twee keer dezelfde uitkomst.
- Controleer dat de loss begint bij de waarde die je verwacht.
- Overfit eerst één kleine batch van een paar voorbeelden.
- Kijk ook naar maten die een mens kan lezen en controleren, zoals de nauwkeurigheid.
Hoe wij dit gebruiken
Wij bouwen zo ook software. Eerst de kleinste versie die echt van begin tot eind werkt: een echte aanroep, echte data, een echt scherm. Pas daarna maken we het breder, sterker en mooier, en bij elke stap testen we de hele lijn opnieuw.