L’histoire de l’apprentissage profond
Un premier réseau de neurones artificiels est suggéré : le perceptron
Le psychologue américain Frank Rosenblatt suggère le premier réseau de neurones artificiels fonctionnel : le perceptron, un réseau qui a de la difficulté à fonctionner sur plusieurs couches.
Le terme apprentissage machine popularisé
Le terme apprentissage machine devient populaire en 1959 grâce aux travaux du chercheur Arthur Samuel. Il présente un jeu de dames capable d’apprendre à mesure que le jeu évolue à partir de données historiques stockées dans sa mémoire.
Une première représentation hiérarchique d’un réseau de neurones artificiels à couches multiples
Le mathématicien ukrainien Alexey Ivakhnenko met en place la première représentation hiérarchique d’un réseau de neurones artificiels à couches multiples qui utilise une fonction d’activation polynomiale.
L’hiver de l’intelligence artificielle
L’informaticien américain Marvin Minsky et le mathématicien sud-africain Seymour Papert prouvent les grandes limites d’un possible perceptron à couches multiples, ce qui plonge les recherches sur le sujet dans ce que l’on pourrait appeler l’hiver de l’intelligence artificielle.
La publication d’un modèle de réseau de neurones artificiels à huit couches
Alexey Ivakhnenko publie le modèle d’un réseau de neurones artificiels à huit couches, qui constitue un des premiers pas formels vers la discipline de l’apprentissage profond.
La publication d’un premier réseau de neurones artificiels profond à convolutions : le néocognitron
L’informaticien japonais Kunihiko Fukushima publie le premier réseau de neurones artificiels profond à convolutions, le néocognitron, démontrant une performance élevée de la reconnaissance d’images, particulièrement dans les cas d’usage de reconnaissance des caractères manuscrits.
La première implémentation fonctionnelle du mécanisme de rétropropagation du signal d’erreur
Le Canadien Geoffrey Hinton et les Américains David Rumelhart et Ronald Williams réussissent la première implémentation fonctionnelle du mécanisme de rétropropagation du signal d’erreur à travers les réseaux de neurones artificiels profonds, ce qui constituait l’obstacle majeur à l’expansion de la performance des réseaux de neurones.
Une performance en reconnaissance d’images encore inégalée
L’informaticien français Yann LeCun réussit à entraîner un réseau de neurones profond et à convolutions grâce au mécanisme de rétropropagation du signal, obtenant ainsi une performance en reconnaissance d’images encore inégalée.
La publication d’un nouveau modèle d’algorithmes d’apprentissage profond capable de surpasser la performance des modèles précédents
Geoffrey Hinton et son équipe publient un nouveau modèle d’algorithmes d’apprentissage profond capable de surpasser la performance des modèles précédents et permettant de les entraîner beaucoup plus rapidement et efficacement (donc avec plus de données).
Durant la même période, l’équipe de Hinton et d’autres chercheurs en intelligence artificielle découvrent le potentiel de la mise en application des accélérateurs graphiques dans le traitement des opérations liées aux réseaux de neurones. Le chef de file international des processeurs graphiques Nvidia publie une interface de programmation (API) permettant aux développeurs de profiter des fonctions de parallélisation qu’offrent leurs cartes graphiques.
Les chercheurs et les développeurs peuvent entraîner et évaluer leurs algorithmes de reconnaissance d’objets
L’informaticienne américaine Fei-Fei Li publie la plus grande base de données d’images étiquetées; les chercheurs et les développeurs peuvent enfin entraîner et évaluer leurs algorithmes de reconnaissance d’objets.
La résolution de l’énigme de la disparition du gradient
Le mathématicien canadien Yoshua Bengio et ses coéquipiers proposent une approche permettant de résoudre l’énigme de la disparition du gradient, un problème conceptuel et persistant, pour accélérer l’entraînement des réseaux de neurones profonds.
La création d’un réseau de neurones profond qui révolutionne la discipline
Le réseau de neurones profond AlexNet, créé par Alex Krizhevsky et son collègue Ilya Sutskever (tous deux étudiants du professeur Hinton) révolutionne la discipline. Cet algorithme d’apprentissage profond puise dans la force de l’accélération graphique pour réaliser une performance inégalée en termes de reconnaissance d’images. Ce réseau de neurones profond génère une vague d’enthousiasme inégalée pour l’intelligence artificielle et l’apprentissage profond.