Andrej Karpathy

Bio

Andrej Karpathy (né en 1986) est un chercheur et éducateur slovaco-canadien spécialisé dans l'IA, surtout connu pour sa thèse Software 2.0, sa direction de l'équipe de vision Autopilot de Tesla et la série d'enseignements Zero to Hero. Né à Bratislava, en Tchécoslovaquie (aujourd'hui Slovaquie), il s'est installé à Toronto à l'âge de 15 ans et a étudié l'informatique et la physique à l'Université de Toronto. Il a ensuite obtenu une maîtrise à l'Université de Colombie-Britannique et un doctorat à Stanford en 2015 sous la direction de Fei-Fei Li, rédigeant une thèse sur la connexion entre les images et le langage naturel. À Stanford, il a conçu et enseigné CS231n, le premier cours d'apprentissage profond de l'université ; les inscriptions sont passées de 150 étudiants en 2015 à 750 en 2017.

Membre fondateur d'OpenAI (2015–2017), il a ensuite été directeur de l'IA chez Tesla (2017–2022), dirigeant l'équipe de vision par ordinateur responsable de l'Autopilot. Un second passage chez OpenAI a suivi (2023–2024), après quoi il a fondé Eureka Labs en juillet 2024, une entreprise d'éducation à l'IA dont le premier produit est le cours LLM101n. Il a figuré sur la liste des innovateurs de moins de 35 ans du MIT Technology Review (2020) et sur celle des TIME100 Most Influential People in AI (2024). Il écrit sur karpathy.ai et enseigne dans le cadre de la série YouTube Zero to Hero.

Cadre philosophique

Karpathy voit les logiciels évoluer à travers des paradigmes de programmation distincts. Dans le premier, les ingénieurs écrivent les règles à la main. Dans le second — logiciel 2.0 — les ensembles de données deviennent le code source, l'entraînement est le compilateur, et les poids résultants constituent le programme. Dans le troisième (logiciel 3.0), les invites en langage naturel sont les programmes ; quiconque sait écrire devient un programmeur.

Les systèmes appris de bout en bout ont constamment surpassé les pipelines codés à la main dans les domaines de la reconnaissance visuelle, de la parole, de la traduction et de la conduite autonome. Karpathy ne considère pas cela comme une règle générale. Pour lui, l'argument empirique en faveur des systèmes appris s'accompagne d'une exigence : une couche d'évaluation honnête avant que l'on puisse faire confiance à une véritable autonomie. Il décrit l'IA actuelle comme présentant une "jagged intelligence" — extraordinaire pour certaines choses, déconcertante pour d'autres — et soutient que travailler soigneusement avec cette incertitude est le travail fondamental de l'ingénieur.

Thèmes récurrents

• Logiciel 2.0 / 3.0 — ensembles de données et prompts comme nouveau code source
• Évaluer comme goulot d'étranglement — l'évaluation objective est la condition préalable à toute autonomie réelle
• L'augmentation avant l'automatisation — des produits à autonomie partielle plutôt que des agents totalement autonomes
• Les données priment sur l'architecture — le comportement du modèle reflète davantage les données d'entraînement que la conception du modèle
• Construire pour comprendre — une véritable compréhension exige de construire à partir de zéro, et non de regarder des tutoriels
• Boucle de coopération entre l'homme et l'IA — l'IA génère, l'homme vérifie ; le travail d'ingénierie permet d'accélérer cette boucle

Passages clés

Logiciel 2.0 (et 3.0)

Depuis 2017, Karpathy affirme que les réseaux neuronaux constituent un nouveau paradigme de programmation, et pas seulement un meilleur algorithme. Au lieu d'écrire des règles, les ingénieurs spécifient un comportement souhaité, sélectionnent un ensemble de données qui l'encodent et laissent la rétropropagation faire le reste. Chez Tesla, les réseaux neuronaux ont progressivement pris en charge des tâches précédemment écrites en C++ ; l'équipe a conclu qu'elle n'était "pas assez bonne pour écrire ce tracker" et a confié le problème au réseau. Le logiciel 3.0 prolonge l'argument : l'incitation par un modèle de langage étendu est elle-même une interface de programmation, écrite en anglais.

Eval comme goulot d'étranglement

Des mesures objectives et automatiquement vérifiables sont la condition préalable pour déléguer en toute sécurité un travail à un agent d'intelligence artificielle. Sans signal d'évaluation fiable, il n'existe aucun moyen de détecter les échecs. Karpathy précise que sa méthodologie s'effondre lorsque l'évaluation est subjective : "If you can't evaluate it, then you can't auto research it." Il note également que les critères de référence sont structurellement jouables — toute mesure qui devient une cible d'entraînement tend à être optimisée d'une manière qui compromet ce qu'elle était censée mesurer.

L'autonomie comme un gradient

Karpathy considère l'autonomie comme un curseur à calibrer en fonction de la complexité des tâches et de la vérifiabilité des résultats, et non comme un choix binaire. Son analogie préférée : Iron Man suits, not Iron Man robots. La plupart des produits d'IA utiles aujourd'hui étendent les capacités humaines tout en gardant les humains dans la boucle de vérification, plutôt que de tenter une automatisation complète de bout en bout. Il trace ce point de vue à la conduite autonome, où les premières démonstrations qui ont fonctionné dans des conditions contrôlées ont donné lieu à un processus d'ingénierie long et minutieux avant que la technologie ne devienne fiable.

Construire pour comprendre

Le programme d'études "Zero to Hero" et l'essai "Recipe for Training Neural Networks" reflètent tous deux la même idée : une véritable compréhension exige de partir des premiers principes et non de suivre des tutoriels. Selon Karpathy, la consommation passive produit l'illusion de la connaissance sans l'intuition nécessaire pour déboguer ou étendre un système. Ses cours sont conçus comme des exercices d'ingénierie.

Où cette voix s'inscrit dans vos décisions

Karpathy est utile lorsqu'une décision implique l'adoption, la conception ou l'évaluation d'un système d'IA — en particulier lorsqu'il y a une tentation d'ajouter l'apprentissage automatique à quelque chose qui pourrait être mieux servi par des règles plus claires, ou de faire confiance à un composant d'IA avant que l'infrastructure d'évaluation ne soit en place. Son expérience en matière de conduite autonome fait de lui une référence utile pour l'écart entre ce qu'une démonstration permet d'atteindre et ce qu'un système de production exige réellement.

Limitations

L'approche de Karpathy fonctionne mieux lorsque les résultats sont objectivement mesurables. Il a reconnu qu'elle s'effondre lorsque l'évaluation est subjective — jugement humain, éthique, dynamique sociale, comportement organisationnel. Il n'est pas une voix forte pour les questions interpersonnelles ou relationnelles, la stratégie commerciale générale sans composante d'architecture technique, ou la conception organisationnelle. Sa récente évolution vers une délégation quasi-totale du codage à des agents d'IA signifie également que son point de vue sur l'ingénierie logicielle conventionnelle évolue rapidement et pourrait ne pas se transférer directement aux équipes qui en sont à un stade moins avancé de l'adoption d'outils d'IA.

Travaux sélectionnés

• "Software 2.0" (Medium, 2017) — l'expression canonique de la forme courte du paradigme de l'ensemble de données en tant que code source
• CS231n : Convolutional Neural Networks for Visual Recognition (Stanford, 2015–2017) — le cours magistral qui a introduit des milliers de praticiens à l'apprentissage profond
• Neural Networks : Zero to Hero (série YouTube, 2022–présent) — construction de GPT à partir de zéro dans les conférences ; code d'accompagnement à karpathy/nn-zero-to-hero

Lecture complémentaire

• karpathy.ai — sa page d'accueil personnelle ; liens canoniques d'ancrage biographique et de projet
• "A Recipe for Training Neural Networks" (2019) — manuel d'ingénierie pratique ; la philosophie "build to understand" appliquée à la formation ML
• Eureka Labs — son entreprise actuelle, construisant une infrastructure éducative native à l'IA
• karpathy/llm.c — GPT-2 implémenté en C/CUDA pur ; build-to-understand appliqué à la formation LLM

Dernière révision : 2026-05-17 · Version de la page : 1

Comment travaillent les conseillers Invisico →