Apports des alternatives à la rétropropagation dans l'apprentissage des réseaux de neurones binaires
Résumé
Les modèles de réseaux de neurones profonds utilisent actuellement des paramètres encodés avec des nombres flottants utilisant beaucoup d'espace mémoire au moment de l'inférence. Ces modèles devenant de plus en plus volumineux, il devient difficile d'envisager entraîner directement ces modèles sur des appareils portables tels que les smartphones. Les réseaux de neurones binaires promettent de réduire la taille des réseaux de neurones artificiels tout en diminuant le temps d'inférence et l'énergie consommée, permettant le déploiement de modèles plus puissants sur les appareils portables. Cependant, les réseaux de neurones binaires sont encore actuellement difficiles à entraîner en utilisant la rétropropagation classique. Nous fournissons des tests comparatifs pour 3 algorithmes dont la rétropropagation permettant d'entraîner des réseaux de neurones binaires sur MNIST ainsi que CIFAR-10. Les résultats montrent que les réseaux de neurones binaires peuvent être entraînés en utilisant des alternatives à la rétropropagation, et donner lieu à de meilleures performances.
Domaines
Informatique [cs]Origine | Fichiers éditeurs autorisés sur une archive ouverte |
---|