Modul Maschinelles Lernen, Informatik (Master) (SPO 8)

Inhalte Vorlesungsteil Prof. Janka

Einführung in Konzepte des überwachten Lernens anhand der linearen und logistischen Regression:

• Regressions- und Klassifizierungsprobleme
• Modellfunktionen
• Verlustfunktionen und Training von Modellen
• Evaluation und Verbesserung von Modellen
• Regularisierung

Aufbauend: Einführung in das Thema Deep Learning

• Künstliche Neuronale Netze
• Training von neuronalen Netzen (Stochastischer Gradientenabstieg und Backpropagation)
• Spezielle Typen von neuronalen Netzen, z.B.: Faltungsnetze, Autoencoder, generative Modelle.

Inhalte Vorlesungsteil Prof. Preisach

Vorbereitung:

• Einordnung der Begriffe Künstliche Intelligenz, Maschinelles Lernen, Mustererkennung, Data Mining, Big Data etc.
• Distanzen, Metriken und Ähnlichkeiten (Minkowski, Cosinus-Ähnlichkeit, Mahalanobis, Dynamic Time Warping etc.)
• Einführung in die Datenvorverarbeitung, eine ausführliche Behandlung des Themas findet im Modul Data Science statt.

Transformationen

• PCA, nichlineare PCA, in diesen Zusammenhang: Kernel-Trick und Support Vektor Maschinen
• SVD
• Matrixfaktorisierung, z.B. Latente Faktoren, Faktorisierung für Recommender Engines

Methoden des unüberwachten Lernens, eine Auswahl aus

• Cluster-Algorithmen: K-Means, PAM, CLARA, CLARANS, DBSCAN, C-Means, EM, SOM
• Assoziationsanalyse, z.B. Apriori, FP-Growth
• Graphbasierte Ansätze zur Bildung von Clustern, z.B. Normalized Cut
• Ranking Algorithmen, z.B. Google Page Rank

• Folien und Tafelanschrieb
• Bernhard Schölkopf ; Alexander J. Smola, "Learning with Kernels : support vector machines, regularization, optimization, and beyond", Cambridge, Mass. [u.a.], MIT Press, 2002
• Ian Goodfellow, Yoshua Bengio, Aaron Courville, "Deep Learning". MIT Press, 2016.

In der Übung werden die Inhalte beider Vorlesungen „Maschinelles Lernen“ (Prof. Preisach und Prof. Janka) durch praktische Übungen vertieft, mit dem Ziel grundlegende Maschine Learning Algorithmen selbstständig implementieren zu können. Die Aufgaben werden in Form von Python Jupyter Notebooks gestellt und bearbeitet.

Inhalte der Übung:

• Grundlagen der Python-Programmierung im Umfeld maschinelles Lernen
• Explorative Datenanalyse, Regression, Cross-Validation
• Dimensionsreduktion, Hauptkomponentenanalyse
• Empfehlungsdienste, kollaboratives Filtern, Ähnlichkeitsmaße
• Implementierung simpler Neuronaler Netze und Backpropagation, teils mit PyTorch
• Clustering mittels des K-Means Algorithmus, Distanzmaße

Die Übung wird wahlweise auf dem eigenen Laptop oder auf PCs des Labors für Maschinelles Lernen durchgeführt.