Accéder directement au contenu Accéder directement à la navigation
Communication dans un congrès

Revisite des "random Fourier features" basée sur l'apprentissage PAC-Bayésien via des points d'intérêts

Léo Gautheron 1 Pascal Germain 2 Amaury Habrard 1 Gaël Letarte 3 Emilie Morvant 1 Marc Sebban 1 Valentina Zantedeschi 1
2 MODAL - MOdel for Data Analysis and Learning
Inria Lille - Nord Europe, LPP - Laboratoire Paul Painlevé - UMR 8524, METRICS - Evaluation des technologies de santé et des pratiques médicales - ULR 2694, Polytech Lille - École polytechnique universitaire de Lille, Université de Lille, Sciences et Technologies
Abstract : Cet article résume et étend notre travail récent publié à AISTATS 2019, dans lequel nous avons revisité la méthode des Random Fourier Features (RFF) de Rahimi et al. (2007) par le biais de la théorie PAC-Bayésienne. Bien que l'objectif principal des RFF soit d'approximer une fonction noyau, nous considérons ici la transformée de Fourier comme une distribution \emph{a priori} sur un ensemble d'hypothèses trigonométriques. Cela suggère naturellement d'apprendre une distribution a posteriori sur cet ensemble d'hypothèses. Nous dérivons des bornes en généralisations qui sont optimisées en apprenant une distribution pseudo-posterior obtenue à partir d'une expression en forme close. À partir de cette études, nous proposons deux stratégies d'apprentissage basées sur des points d'intérêts : (i) la procédure en deux étapes proposée dans notre article précédent, où une représentation compacte des données est apprise, puis est utilisée pour apprendre un modèle linéaire, (ii) une nouvelle procédure, où l'on apprend en un seul temps la représentation et le modèle suivant une approche de type Boosting.
Type de document :
Communication dans un congrès
Liste complète des métadonnées

https://hal.archives-ouvertes.fr/hal-02148600
Contributeur : Emilie Morvant <>
Soumis le : mercredi 5 juin 2019 - 16:06:42
Dernière modification le : mardi 10 novembre 2020 - 11:14:06

Identifiants

  • HAL Id : hal-02148600, version 1

Citation

Léo Gautheron, Pascal Germain, Amaury Habrard, Gaël Letarte, Emilie Morvant, et al.. Revisite des "random Fourier features" basée sur l'apprentissage PAC-Bayésien via des points d'intérêts. CAp 2019 - Conférence sur l'Apprentissage automatique, Jul 2019, Toulouse, France. ⟨hal-02148600⟩

Partager

Métriques

Consultations de la notice

74