Nevronske mreže: vzvratno razširjanje napake
Section outline
-
Za predstavitev kompleksnejših konceptov v podatkih lahko razširimo atributni opis (t.im. feature engineering) ali pa povečamo izrazno moč in s tem tudi kompleksnost modelov. Nevronske mreže so primer slednje rešitve. Osnovno nevronsko mrežo gradimo iz hierarhij enot, ki so v osnovi enake logistični regresiji. Torej sprejmejo vhode iz enot na prejšnjem nivoju, utežijo njihove aktivacijske vrednosti, utežene vrednosti seštejejo in transformirajo z aktivacijsko, na primer logistično funkcijo. Posamezen nivo v nevronski mreži je torej podoben regresiji softmax. Za iskanje primernih uteži, ki minimizirajo kriterijsko funkcijo, uporabimo gradientni sestop, za izračun gradientov pa verižno pravilo oziroma pristop vzratnega razširjanja napake (angl. back propagation). Zapiski
Literatura- Ng A: Sparse autoencoder (zapiski)
- Rojas R: The backpropagation algorithm (poglavje knjige s podrobno izpeljavo algoritma)
Dodatni viri- Nielsen M (2017) Neural networks and deep learning
- 3Blue1Brown: Backpropagation calculus