Section outline

  • Samokodirnik je nevronska mreža, ki se brez nadzora uči stisniti podatke v latentni prostor in jih nato rekonstruirati; sestavljajo ga kodirnik, ozko grlo in dekodirnik. Klasični samokodirnik deluje deterministično in optimizira rekonstrukcijsko napako (npr. MSE), pri čemer smo njegovo delovanje preučevali na primeru časovnih vrst. Tudi preprosta arhitektura omogoča učinkovito ločevanje razredov v latentnem prostoru, čeprav učenje poteka brez uporabe razrednih oznak. Variacijski avtoenkoder (VAE) razširi ta pristop z učenjem porazdelitve v latentnem prostoru (povprečje in varianca) namesto točke, kar omogoča generativno modeliranje in strukturiran prostor. Učenje VAE temelji na kombinaciji rekonstrukcijske izgube in Kullback-Leiblerjeve divergence, reparametrizacijski trik pa omogoča odvajanje skozi vzorčenje. Rezultat je model, ki poleg rekonstrukcije omogoča tudi smiselno generiranje novih primerov. Zapiski predavatelja
    Koda