IFT6266

Je compléterai cette page éventuellement, mais pour expliquer brièvement:

• J'essaie d'implémenter des RBMs convolutionnels en partant des explications dans
  • http://ai.stanford.edu/~ang//papers/icml09-ConvolutionalDeepBeliefNetworks.pdf
  • http://www.stanford.edu/~hllee//nips07-sparseDBN.pdf
• Pour l'instant je n'ai implémenté qu'un seul layer, donc je n'ai pas encore testé le subsampling probabiliste.

Ma première vraie expérience en explorant les hyperparamètres

Mon but est de voir de "bons" filtres apparaître au premier layer, en testant sur MNIST. Le critère est très manuel, puisque pour l'instant ma seule métrique est l'apparence au jugé, à l'oeil, des filtres obtenus. Je les met donc ici pour que d'autres puissent juger aussi.

http://fsavard.com/files/ift6266/

img1: les filtres

• Voir liste des meilleurs ci-bas

img2: résultat de regénérer l'image d'entrée (une passe up-down)

• Les cas où ça donne qqch de potable sont ceux correspondants aux meilleurs filtres

img3: résultat de 1000 passes up-down

• Ça donne absolument rien, sauf dans quelques cas, correspondants à mes meilleurs filtres "à l'oeil nu"

Les filtres

Je manque de temps (faut que je file), donc voici une liste brute des cas qui à l'oeil me semblent bons. Point d'exclamation pour les meilleurs. Nombre de filtres entre parenthèses

11 (40)
17 (15)
18 (15)
23 (15)
24 (15)
29 (40) !
30 (40) bizarre
35 (40)
36 (40)
41 (15)
42 (15)
44 (15), mais vaguement, et la reconstruction ne donne rien
47 (15)
48 (15)
5 (40) !
6 (40) !