섹션 개요

  • V poglavju zgradimo generativni jezikovni modele za napovedovanje naslednjega znaka v zaporedju. Začnemo z enostavnim bigramskim modelom, uvedemo verjetje in negativno log-verjetje kot kriterijsko funkcijo, nato pa pokažemo, kako lahko iste ideje implementiramo z nevronskimi mrežami in gradientnim učenjem. Poseben poudarek namenimo problemu predstavitve podatkov, kjer znake preslikamo v vložitveni prostor, ter postopoma zgradimo globoko nevronsko mrežo, ki zna pri napovedovanju upoštevati širši kontekst znakov. Zapiski s predavanj