IFT6266

Auteur:  

Sylvain Pannetier Lebeuf

But:

Voir les prédictions effectuées par un modèle performant et ainsi déterminer s'il y a des problèmes apparants dans celui-ci. Le code utilisé est dans /ift6266/deep/stacked_dae/v_sylvain/voir_erreurs.py

Il faut mettre les informations du modèle dans un fichier config.py qui peut être trouvé dans

/data/lisa/data/ift6266h10/experiments_SDA/dossier_qui_vons_interesse

Il faut faire attention à faire concorder le modèle spécifié dans le fichier de configuration avec le fichier de paramètres du modèle définit par PATH_P07 (ou PATH_NIST si pretrain_choice == 0)

Résultats:

J'ai testé sur un bon modèle en date d'aujourd'hui (23 avril 2010).C'est un modèle avec: 'pretraining_epochs_per_layer': 15, 'hidden_layers_sizes': 1500, 'num_hidden_layers': 4, finetune_lr=0.1 et est divisé par 2 à chacun des tours de P07 ( ou 100 tours de nist), pretrain_lr=0.1, max_finetune_epoch_P07=7.

PATH_P07 = '/data/lisa/data/ift6266h10/experiments_SDA/P07_LR_decrease/ '

Finetune=P07+NIST:

Test sur P07:

sur 100 exemples vus, il y a eu 51 erreurs de classification

55 % des erreurs sont parfonables, dans le sens que j'aurat fait les même ou bien qu'il est impossible de distinguer

Il y a seulement 8 grosses erreurs où le modèle est loin de la bonne réponse. Les autres erreurs sont des petites erreurs où la réponse donnée n'est pas trop loin de la bonne.

Conclusions apprises ici:

Il est difficile de distinguer les I, 1 et l surtout (et à moindre mesur les i )

Il est impossible de distinguer O, o et 0, car la taille n'est pas garante de la réponse

g et q semble présenter seulement une petite différence aux yeux du modèle.

si on enleve les cas où l'erreur n'est pas vraiment une erreur, le modèle a un taux d'erreur de 23 %

Test sur NIST:

sur 100 exemples vus, il y a eu 28 erreurs de classification

82 % des erreurs sont pardonables, dans le sens où la distinction est impossible ou que j'aurais été dans le sans du modèle

Il y a seulement 5 grosses erreurs, les autres sont des prédictions proche de la réponse, mais qui auraient pu être un peu plus juste.

Conclusions apprises ici:

• Les I, 1 et l posent toujours problème
  
• Les O,o,0 posent toujours problème
• Le modèle est franchement très bon ! Si on enleve les cas où l'erreur n'était pas vraiment une erreur, il effectue seulement 5% d'erreurs.