Laissant de côté le côté médiatique-entreprise qu'Elon Musk, Sam Altman et la société représentent, dans l'histoire récente de l'intelligence artificielle (comprise comme la science), il y a encore des noms qui brillent pour leur visibilité des médias: Geoffrey Hinton, Yann Lecun, Yoshua Bengio …
Cependant, parmi les racks, un jeune chercheur né en Union soviétique, Alex Krizhevsky, a été le véritable déclencheur de la révolution de l'apprentissage en profondeur qui passe aujourd'hui de la vision informatique à la génération de texte et d'images.
Son histoire, paradoxalement, est celle du protagoniste d'une révolution qui a choisi d'être effacée de la photo ».
Les origines
Alex Krizhevsky est né en 1979 à l'Union soviétique (dans l'Ukraine actuelle, pour plus de signes) et a émigré avec sa famille au Canada pendant son enfance. Là, il a étudié l'informatique à l'Université de Toronto, où il entrerait plus tard dans le laboratoire de Geoffrey Hinton, considéré comme le «parrain de l'apprentissage en profondeur».
Hinton étudiait les réseaux neuronaux depuis des décennies à un moment où le domaine était discrédité: les méthodes statistiques et l'apprentissage automatique classique ont dominé la scène académique.
Mais Hinton a eu une intuition et y a persisté: avec la puissance de calcul adéquate et des données suffisantes, des réseaux de neurones profonds pourraient surmonter toutes les approches existantes. Comme il avait raison.
La naissance (et l'impact) d'Alexnet
Alors que les modèles traditionnels ont obtenu des taux d'erreur d'environ 26%, Alexnet a réussi à réduire ce chiffre à 15%. La différence n'était pas incrémentielle, elle était abyssale. C'était le tournant: la communauté scientifique a compris que des réseaux de neurones profonds avaient cessé d'être un rêve impossible.
Le triomphe d'Alexnet a déclenché une avalanche authentique. En quelques années, des entreprises technologiques telles que Google, Facebook et Microsoft ont commencé à passer massivement dans la recherche en profondeur. Les GPU sont devenus des outils fondamentaux pour les scientifiques des données.
Aujourd'hui, presque toutes les avancées dans le champ d'IA se nourrissent de cette graine plantée par Alex Krizhevsky en 2012. En fait, son article d'origine a déjà plus de 180 000 citations académiques, un chiffre extraordinaire même dans un domaine d'expansion rapide.
Un génie qui a choisi de disparaître
Ce qui est drôle, c'est qu'après avoir atteint le sommet de la reconnaissance scientifique, Krizhevsky a choisi de se retirer des projecteurs. Il est vrai qu'il a travaillé pendant un certain temps sur Google Brain (parce que Google a acquis la startup dans laquelle il a travaillé, dnnresearch), et là, il a continué à enquêter avec Hinton et Sutskever, mais peu de temps après, il a quitté l'entreprise et a disparu de la vie académique et du débat public.
Dans Google, il avait travaillé à la fois sur Google Photos et, plus tard, dans son projet de voitures autonomes. Mais en septembre 2017, il a dit qu'il s'était déformé pour son travail et avait «pris la porte». Stephen Witt, dans son livre « The Thinking Machine » le décrit précisément:
« Si Alex Krizhevsky aurait pu devenir invisible, il l'aurait probablement fait. (…) Geoffrey Hinton, son directeur de thèse, pourrait à peine compter quoi que ce soit à son sujet, à l'exception d'un détail important: * Alex était probablement le meilleur programmeur que j'aie jamais rencontré. »
Ainsi, alors que Hinton est toujours actif en tant que référence et que Sutskever ne devient pas moins que le co-fondateur d'Openai, Krizhevsky a choisi un profil beaucoup plus discret, au point d'arrêter la publication. Son dernier «papier» s'est révélé il y a six ans: « Chauffeurnet: apprendre à conduire en imitant le meilleur et en synthétisant le pire ».
L'héritage d'Alexnet
Rappelons que la valeur de ce qui a été réalisé par Krizhevsky n'est pas limitée à un modèle d'IA réussi (après tout, il a été surmonté il y a des années). Au contraire, il réside que son travail a introduit plusieurs innovations techniques qui restent en vigueur:
- Utilisation des GPU pour accélérer une formation en réseau profond.
- RELU (unités linéaires rectifiées) comme une fonction d'activation, qui a simplifié et accéléré l'apprentissage.
- Débat comme technique de régularisation pour réduire la surexploitation.
- Architectures de convolution profonde qui sont devenues la base de tous les modèles de vision informatique ultérieurs.
En d'autres termes: «Alexnet» n'était pas seulement un réseau neuronal, c'était une boîte à outils qui favorisait l'ère moderne de l'apprentissage en profondeur.
Un héros anonyme de l'IA
Le paradoxe d'Alex Krizhevsky est fascinant. Sans lui, l'histoire de l'apprentissage en profondeur aurait pris plus de temps pour décoller … et, néanmoins, son nom n'apparaît pas dans les conférences, ni ne donne des pourparlers TED, ni une couverture de magazines.
