IFT6266

Pour concrétiser la familiarisation avec les outils et les algorithmes d'apprentissage, il faudra entraîner des modèles avec des algorithmes d'apprentissage plus classiques que ceux visés pour le projet:
- régression logistique
- MLP classique avec 1 seule couche cachée
- MLP supervisé seulement, avec plusieurs couches cachées
- réseau à convolution classique (lenet)

Optimiser les hyper-paramètres et tabuler les meilleures performances obtenues, qui serviront de banc d'essai pour la suite.

Générer des transformations sur ces données pour introduire plus de variabilité et de robustesse dans les classifieurs.
- géométrie: translation, rotation, échelle
- épaississement
- captcha
- occlusions, en particulier par des caractères à gauche et à droite du caractère principal
- bruit (e.g. poivre et sel)
- image de fond

Explorer hyper-paramètres et évaluer les classifieurs obtenus avec algorithmes d'architectures profondes déjà établis:

- stacked denoising auto-encoders
- deep belief networks

avec ou sans structure convolutionnelle

Explorer l'effet sur les performances en classification dû à:
- quantité et nombre d'updates avec données non-étiquetées
- utilisation de classes différentes pour le pré-entraînement non-supervisé et l'ajustement supervisé
- utilisation de données altérées synthétiquement (déformations, captcha, etc.)

Créer un site web pour les résultats du cours:
- Créer des petits films et images illustrant la robustesse de nos meilleurs classifieurs aux différents facteurs qui préservent la classe, et à des entrées difficiles et non-standards.
- Créer des petits films et images montrant des images générées (pour les modèles génératifs).
- Utiliser la démo pour comparer qualitativement les résultats entre des grandes catégories de modèles (e.g., profond vs non-profond, avec sans pré-entraînement non-supervisé, avec ou sans convolution).

Ajouter au site démo une démo de la performance online du classifieur, à partir d'une entrée fournie par un usager, via le serveur qui fera les calculs.
- considérer l'utilisation d'une implantation GPU pour exécution plus rapide
- explorer différents modes d'entrée de l'image (e.g. souris pour dessiner le caractère, image via webcam)

Explorer des variantes pas encore publiées des algorithmes étudiés:
- exploiter l'information sur le scripteur dans les caractères successifs
- critères d'entraînement qui encouragent à démêler les facteurs de variation
- autres idées apportées par l'équipe!

Les résultats les plus novateurs au point de vue scientifiques pourront être regroupés et présentés dans un article scientifique. On vise une soumission à la conférence NIPS (début juin).