Βαθιά Μάθηση

    Μάθημα Επιλογής, Εαρινό  Εξάμηνο,  6 μονάδες ECTS

    Διδάσκων: Δρ. Πρόδρομος Μαλακασιώτης

    URL: https://eclass.aueb.gr/courses/INF398/

    Περιεχόμενο

    Επιβλεπόμενη μάθηση, μη επιβλεπόμενη μάθηση και μάθηση αναπαραστάσεων. Softmax, διασταυρωμένη εντροπία, κατάβαση κλίσης, στοχαστική κατάβαση κλίσης. Νευρωνικά δίκτυα, πολυ-επίπεδα Perceptrons (MLPs), προς τα πίσω μετάδοση σφάλματος, το πρόβλημα της παραγώγου που χάνεται, συναρτήσεις ενεργοποίησης. Ανατροφοδοτούμενα νευρωνικά δίκτυα, (RNNs), συνελικτικά νευρωνικά δίκτυα (CNNs). Τεχνικές ομαλοποίησης (regularization), dropout, batch normalization. Αdagrad, Adam. Μη επιβλεπόμενη βαθιά μάθηση με αυτοκωδικοποιητές και GANs.

    Μαθησιακά Αποτελέσματα

    Μετά την επιτυχή ολοκλήρωση του μαθήματος, οι φοιτητές θα είναι σε θέση:

    • Να περιγράφουν βασικές έννοιες βαθιάς μάθησης.
    • Να περιγράφουν ένα ευρύ φάσμα τεχνικών (αρχιτεκτονικές, αλγορίθμους) βαθιάς μάθησης.
    • Να σχεδιάζουν και να υλοποιούν βαθιά νευρωνικά δίκτυα για μεγάλο πλήθος προβλημάτων μηχανικής μάθησης.
    • Να αξιολογούν την αποτελεσματικότητα και την επίδοση βαθιών νευρωνικών δικτύων.

    Προαπαιτούμενα Μαθήματα

    Οι φοιτητές πρέπει να έχουν βασικές γνώσεις μαθηματικής ανάλυσης, γραμμικής άλγεβρας και θεωρίας πιθανοτήτων. Για τις προγραμματιστικές ασκήσεις του μαθήματος, απαιτείται εμπειρία προγραμματισμού (π.χ. σε Python)..

    Συνιστώμενη Βιβλιογραφία

    • Deep Learning (Adaptive Computation and Machine Learning), I. Goodfellow, Y. Bengio, A. Courville, MIT Press, 2016 (διαθέσιμο on-line, https://www.deeplearningbook.org/).
    • Neural Networks and Deep Learning, M. Nielsen, 2015 (διαθέσιμο on-line, http://neuralnetworksanddeeplearning.com/).
    • Grokking Deep Learning, A. W. Trask, Manning Publications, 2018.
    • Introduction to Deep Learning, E. Charniak, MIT Press, 2019.

    Διδακτικές και Μαθησιακές Μέθοδοι

    Μία διάλεξη 3 ωρών εβδομαδιαίως, προγραμματιστικές εργασίες στο σπίτι.

    Μέθοδοι Αξιολόγησης/Βαθμολόγησης

    Ο τελικός βαθμός προκύπτει ως ο μέσος όρος του βαθμού της τελικής γραπτής εξέτασης (50%) και του βαθμού των ομαδικών ασκήσεων (50%).