Pseudo-Bayesian Learning with Kernel Fourier Transform as Prior - Université de Lille Accéder directement au contenu
Communication Dans Un Congrès Année : 2019

Pseudo-Bayesian Learning with Kernel Fourier Transform as Prior

Emilie Morvant
Pascal Germain

Résumé

We revisit Rahimi and Recht (2007)’s kernel random Fourier features (RFF) method through the lens of the PAC-Bayesian theory. While the primary goal of RFF is to approximate a kernel, we look at the Fourier transform as a prior distribution over trigonometric hypotheses. It naturally suggests learning a posterior on these hypotheses. We derive generalization bounds that are optimized by learning a pseudo-posterior obtained from a closed-form expression. Based on this study, we consider two learning strategies: The first one finds a compact landmarks-based representation of the data where each landmark is given by a distribution-tailored similarity measure, while the second one provides a PAC-Bayesian justification to the kernel alignment method of Sinha and Duchi (2016).
Fichier principal
Vignette du fichier
main_aistats_2019_PB_rff.pdf (1.43 Mo) Télécharger le fichier
Figure_1b-crop.png (352.24 Ko) Télécharger le fichier
Figure_2b-crop.png (726.75 Ko) Télécharger le fichier
error_landmarks_ads.pdf (114.29 Ko) Télécharger le fichier
error_landmarks_adult.pdf (114.01 Ko) Télécharger le fichier
error_landmarks_breast.pdf (113.8 Ko) Télécharger le fichier
error_landmarks_farm.pdf (114.36 Ko) Télécharger le fichier
error_landmarks_mnist17.pdf (113.96 Ko) Télécharger le fichier
error_landmarks_mnist49.pdf (113.97 Ko) Télécharger le fichier
error_landmarks_mnist56.pdf (113.99 Ko) Télécharger le fichier
error_vs_features_ads.pdf (98.96 Ko) Télécharger le fichier
error_vs_features_adult.pdf (99.47 Ko) Télécharger le fichier
error_vs_features_breast.pdf (98.4 Ko) Télécharger le fichier
error_vs_features_farm.pdf (99.25 Ko) Télécharger le fichier
error_vs_features_mnist17.pdf (146.46 Ko) Télécharger le fichier
error_vs_features_mnist49.pdf (146.87 Ko) Télécharger le fichier
error_vs_features_mnist56.pdf (98.92 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-01908555 , version 1 (30-10-2018)
hal-01908555 , version 2 (19-02-2019)

Identifiants

Citer

Gaël Letarte, Emilie Morvant, Pascal Germain. Pseudo-Bayesian Learning with Kernel Fourier Transform as Prior. The 22nd International Conference on Artificial Intelligence and Statistics, Apr 2019, Naha, Japan. ⟨hal-01908555v2⟩
129 Consultations
199 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More