Pourquoi les matrices aléatoires expliquent l'apprentissage ? Un argument d'universalité offert par les GANs - CICS
Communication Dans Un Congrès Année : 2019

Pourquoi les matrices aléatoires expliquent l'apprentissage ? Un argument d'universalité offert par les GANs

Résumé

Afin de mettre enévidence les aspects d'universalité des grandes matrices aléatoires sur les données réelles, nousétudions dans cet article le comportement spectral de la matrice de Gram pour une large classe de vecteurs aléatoires, les dits vecteurs concentrés, qui sont plus riches que des vecteurs gaussiens. L'hypothèse de concentration est particulièrement motivée par le fait que l'on peut générer, grâce aux GANs, des données réalistes par transformations Lipschitziennes de vecteurs gaussiens. En particulier, en générant des imagesà travers un GAN, nous montrons que le comportement spectral de la matrice de Gram est le même sur ces données que sur un modèle de mélange gaussien, rendant ainsi l'estimation des performances de classification prédictibleà travers la théorie des matrices aléatoires pour des données réelles. Abstract-In order to highlight the universality aspects of large random matrices on real data, we study in this paper the spectral behaviour of the Gram matrix for a large class of random vectors, the so-called concentrated vectors, which are richer than Gaussian vectors. The concentration hypothesis is particularly motivated by the fact that realistic data can be generated using GANs by Lipschitzian transformations of Gaussian vectors. Particularly, by generating images across a GAN, we show that the spectral behaviour of the Gram matrix is the same on these data as on a Gaussian mixture model, thereby making the estimation of classification performance predictable through random matrix theory for real data.
Fichier principal
Vignette du fichier
2019Cgretsi.pdf (766.36 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-02971207 , version 1 (19-10-2020)

Identifiants

  • HAL Id : hal-02971207 , version 1

Citer

Mohamed El Amine Seddik, Mohamed Tamaazousti, Romain Couillet. Pourquoi les matrices aléatoires expliquent l'apprentissage ? Un argument d'universalité offert par les GANs. GRETSI 2019 - XXVIIème Colloque francophone de traitement du signal et des images, Aug 2019, Lille, France. ⟨hal-02971207⟩
219 Consultations
131 Téléchargements

Partager

More