David Louapre est un scientifique et vulgarisateur bien connu sur YouTube avec sa chaine Science étonnante.
Dans sa dernière vidéo de 40 minutes, il revient sur « les différentes étapes et méthodes de machine learning que l’on mobilise pour entrainer un LLM ». Une question en trame de fond : « qu’a bien pu faire l’entreprise chinoise DeepSeek pour prendre tout le monde de vitesse » ?
La vidéo commence par expliquer le prétraining auto-supervisé (généralement le plus gourmand en temps de calcul), puis les différentes étapes de fine-tuning et revient enfin sur les innovations de DeepSeek.
Durant la vidéo, il explique les phases, mais distille aussi certaines informations bien utiles à rappeler : « un modèle pré-entrainé n’est pas là pour écrire des choses vraies ». ChatGPT et les autres chatbots du genre ne sont évidemment pas que des modèles pré-entrainés. La suite, dans la vidéo…
Comme toujours, la mise en ligne de cette vidéo s’accompagne d’un billet de blog.