IFT6266

Cette page est un lieu de discussion pour les grandes idées ou hypothèses à tester qui pourraient éventuellement faire l'objet d'un article, afin de guider le design expérimental du projet. On va essayer de prioriser ces idées et aussi de définir ce qu'elles nécessitent au niveau de la définition des jeux de données et des cadres expérimentaux, afin d'utiliser le temps disponible au mieux.

• hypothèse: l'entraînement sur des données d'une distribution différente de la distribution cible (de test), illustrant plus de variations des mêmes abstractions sous-jacentes, permettrait d'obtenir une meilleure généralisation, en particulier dans le contexte des architectures profondes avec pré-entraînement non-supervisé. Voir le ticket #39 pour plus de détails.
• hypothèse (voisine de la précédente): un pré-entraînement non-supervisé avec des données qui incluent des classes autres que les classes cibles (mais qui sont reliées) pourrait aider à la généralisation pour des architectures profondes.  On voudrait voir si l'effet est plus intéressant avec des architectures profondes avec pré-entraînement non-supervisé (par opposition à deux phases supervisées). Voir le ticket #40
• hypothèse: un auto-encodeur débruitant empilé à convolution est avantageux dans le traitement d'images (en particulier de caractères), par rapport à la version non-convolution. Note: il se peut que nous ayons à utiliser des convolutions qui ne se recoupent pas pour éviter un problème soulevé par Yann LeCun (les auto-encodeurs convolutionnels entraînés convolutionnellement ont tendance à apprendre des filtres moins beaux que les auto-encodeurs entraînés sur des patches d'image, à cause d'un genre d'interférence entre les neurones voisins de la même feature map, qui cherchent à être décorrélés pour minimiser l'erreur de reconstruction, ce qui donne lieu à des filtres qui ressemblent à du bruit à haute fréquence spatiale).
• hypothèse: le bruit de corruption Gaussien est plus approprié pour des images avec niveaux de gris que le bruit de corruption avec masquage par zéro qui avait été utilisé dans l'article d'ICML2008 sur les auto-encodeurs débruitants.  Voir le ticket #34.