Version 4, last updated by humel at January 10, 2011 10:43 UTC
Shallow-Auto-encodeurs(AIstats)
On verifie que la profondeur du reseau ameliore les performances de generalisation en reprennant le meilleur modele precedemment construit par Sylvain Leboeuf.
Parametre du modele utilisé : /data/lisa/data/ift6266h10/experiments_SDA/PNIST_petit_softmax_tanh
Pour les experiences, on reutilise uniquement les parametres obtenus apres preentrainement pour une et deux couches, et on finetune avec PNIST
| Pre-train dataset: | Type of finetune done |
Number of layers |
Validation error (NIST) | Validation error (PNIST) | Test error on NIST |
Test error on PNIST |
| PNIST | PNIST |
1 |
16.93125 % |
38.98625 % | 21.2926323072 % |
40.105 % |
| PNIST | PNIST | 2 | 15.23125 % |
34.4225 % |
20.1618817018 % |
36.085 % |
J'ai encore deux modeles qui tournent, mais il ne semble pas qu'ils donneront de meilleurs resultats, je mettrais les resultats a jour si c'est le cas.