Choisir la langue :

Agrégation d’hold-out (Guillaume Maillard)

Institutional tag: 
Thematic tag(s): 

L’agrégation d’hold-out (Agghoo) est une méthode qui consiste à moyenner des règles d’apprentissage sélectionnées par hold-out (validation croisée avec 1 découpage). Nous obtenons des garanties théoriques sur Agghoo, ce qui assure que l’on peut l’utiliser sans risque: les performances d’Agghoo sont au pire celles du hold-out, à constante près. Pour le hold-out, des inégalités oracle sont connues dans le cas de pertes bornées, comme en classification binaire. Nous montrons que cette approche peut être étendue, sous de bonnes hypothèses, à d’autres problèmes de minimisation de risque. Nous obtenons notamment une inégalité d’oracle concernant le choix du paramètre de pénalisation des méthodes à noyau à perte Lipschitz, sans supposer que la variable Y ou les prédicteurs sont bornés. Une variante d’Agghoo, Majhoo, peut aussi être utilisée en classification, où elle vérifie une inégalité d’oracle sous hypothèse de marge. Ainsi, Agghoo et Majhoo vérifient toutes deux une inégalité d’oracle. Pour étudier plus précisément l’effet de l’agrégation sur les performances d’Agghoo, nous avons réalisé des simulations numériques. Elles montrent que l’agrégation apporte une amélioration significative par rapport au hold-out et qu’Agghoo se compare favorablement à la validation croisée.

Dates: 
Thursday, July 11, 2019 - 11:00 to 12:00
Location: 
Inria Lille - Nord Europe, Salle A00
Speaker(s): 
Guillaume Maillard
Affiliation(s): 
Université Paris-Sud