IFT6266

Voici un modèle d'un carnet d'expériences. Chaque expérience d'apprentissage (qui implique généralement un ensemble de jobs d'entraînement avec différents hyper-paramètres) devrait être inscrite dans un tel carnet, pour laissez une trace de ce qui se fait pour le projet du cours.

Auteurs

Tâche

Cette expérience fait réference au ticket: #1 (SVP mettez à jour le ticket si c'est le cas, e.g., l'expérience est conclusive).

Motivation pour cette expérience. Vérifier l'hypothèse suivante: l'erreur de généralisation suit une courbe en U quand on varie le taux d'apprentissage.

Modèle avec lequel on a effectué l'expérience: e.g. un MLP supervisé avec 3 couches cachées. Valeurs des hyper-paramètres explorées: pas de gradient, nombre d'unités par couche, etc.

Ce qu'on teste: l'impact du taux d'apprentissage sur la généralisation, en gardant les autres hyper-paramètres fixes.

Données utilisées: les 10 chiffres manuscrits de l'ensemble NIST

Résultats

Résultats attendus: l'erreur diminue d'abord, puis atteint un minimum, puis augmente, quand on augmente le pas d'apprentissage.

Résultats obtenus: l'hypothèse est vérifiée quand on fait la moyenne sur différents seeds d'initialisation, mais on observe des variations d'un run à l'autre (il y a un bruit qui pollue les mesures, et qui pourrait donner l'impression que l'hypothèse est fausse, mais qui disparaît quand on moyenne sur suffisamment de runs avec des seeds différents). C'est fort encouragé de mettre de figures qui illustrent les résultats, pas juste des chiffres ou juste des conclusions.

Emplacement des résultats

• dans la base de donnée ift6266h10_db
• sur gershwin
• dans les tables ticket1_exp_*.
• le SQL view (crée par la commande "jobman sqlview ...") est ticket1_exp_view_*

Details pour réproduire les résultats

Code utilisé:

• le code pour les scripts de l'expérience est dans la révision revision:fda5f787ba
• avec theano (par ex. revision http://trac-hg.assembla.com/theano/changeset/2834%3Ad688063039d4)
• jobman
• dbidispatch

Grappe de calcul utilisé: condor au lisa

Commandes utilisées pour lancer les jobs:

• jobman sqlschedule ...
• dbidispatch jobman...

Temps de calcul: 36 jobs avec un temps moyen de 82 minutes par job et la plus longue jobs a prix 3h.