Choisir la langue :

Random Moments for Compressive Learning

Institutional tag: 

L'apprentissage automatique permet de tirer parti de collections d'entraînement pour ajuster les paramètres d'outils de reconnaissance et de classification, ainsi que pour découvrir de façon non supervisée des structures cachées (clustering, apprentissage de représentation, de dictionnaire ...). Les volumes des collections disponibles dans certains domaines, combinées aux ressources de calcul conséquentes offertes par les GPUs, ont mené à des résultats spectaculaires par exemple en reconnaissance de la parole ou en analyse de scènes visuelles.

Comment exploiter les opportunités offertes par les grands volumes de données lorsque les ressources de calcul sont limitées, par exemple à bord de dispositifs autonomes, avares en énergie ?  Peut-on compresser drastiquement une collection d'entraînement avant apprentissage, tout en préservant la capacité à exploiter l'information qu'elle contient en vue de l'apprentissage ?  Cet exposé donnera un aperçu d'une approche, inspirée du compressed sensing, appelée apprentissage compressé. Il s'agit de représenter l'ensemble de la collection par un unique vecteur, appelé sketch, rassemblant quelques moments empiriques aléatoires. Nous verrons que par nature, un tel sketch peut être calculé via une architecture de calcul naturellement distribuable qui rappelle par bien des aspects une couche de certains réseaux de neurones convolutionnels. Deux cas d'étude seront présentés: le clustering compressif et l'estimation de mélanges de Gaussiennes, avec une illustration en vérification de locuteur à grande échelle. L'apprentissage compressé s'apparente sur ces exemples à une méthode des moments généralisée, et fonctionne à budget mémoire constant indépendant de la taille de la collection. A performance égale, des gains en temps de calcul de deux ordres de grandeur ont été observés sur des grandes collections. Nous discuterons pour finir quelques garanties théoriques récentes sur la préservation d'information par sketching, et les perspectives qu'elles ouvrent en terme de compréhension mathématique de certains aspects des réseaux de neurones profonds.

(rassemble des travaux issus de collaborations avec Gilles Blanchard, Anthony Bourrier, Nicolas Keriven, Patrick Perez, Yann Traonmilin, Nicolas Tremblay)

Dates: 
Tuesday, January 31, 2017 - 14:00 to 16:00
Location: 
Inria Lille - Nord Europe, bâtiment A, salle plénière
Speaker(s): 
Rémi Gribonval