Modul Data Science, Informatik (Master) (SPO 8)
Am Ende dieses Moduls haben die Studierenden theoretische und mathematische Grundlagen des Maschinellen Lernens und der Datenanalyse verstanden. Sie können dadurch die Eignung verschiedener Verfahren für konkrete Situationen beurteilen, und Phänomene, die sie beobachten, schlüssig interpretieren, sowie daraus bei Bedarf Verbesserungsideen für die gewählten Ansätze ableiten.
Die vermittelten Inhalte und Kompetenzen des Moduls sind für die Teilnahme am Modul Künstliche Intelligenz von Vorteil.
- Skalentypen (nominal, ordinal, intervall, ratio), Konvertierung von Skalentypen (one-hot-coding etc.), Normierung
- Explorative Datananalyse, Unterscheidung direkter von indirekten Zusammenhängen, Datenvisualisierung
- Statistische Grundlagen maschinellen Lernens, Maximum Likelihood-Ansatz, Bias und Varianz (Overfitting) als Fehlerquellen von Lernergebnissen.
- Kostenfunktionen für numerische Regression und Klassifikation
- Kriterien für Datenqualität, Umgang mit Qualitätsmängeln (z.B. fehlende Werte, Ausreißer)
- Umgang mit komplexeren Datentypen (record-Daten, heterogene Daten, bag of words), Datentransformationen, Feature Engineering
- Dimensionsreduktion: heuristisch, manuell etc.
- Umfangsreduktion: Sampling etc.
Übungen und praktische Optimierungsaufgaben begleitend zur Vorlesung Optimierung.
Die Übung wird mit Python durchgeführt, wahlweise auf dem eigenen Laptop oder auf PCs des Labors für Maschinelles Lernen. Erste Erfahrungen im Umgang mit Python (wie etwa in der Übung Maschinelles Lernen angeboten) werden vorausgesetzt. Die Übung findet in der zweiten Vorlesungshälfte statt.
Ziel: Vermittlung von theoretischen und praktischen Kenntnissen über Optimierungsmethoden/-kalküle im Kontext des Maschinellen Lernens (Minimierung der Fehlerfunktion)
Inhalte:
Einführung, Motivation und Modellierung
(Wiederholung) Mehrdimensionale Analysis (u.a. Gradienten einführen und verstehen, Taylorentwicklung, konvexe Funktionen, spezielle Ableitungen)
Numerische Verfahren zur Lösung von Gleichungssystemen:
- Direkte Ansätze (Gauß-Jordan, LU, Cholesky, QR)
- Iterative Ansätze (z.B. Jacobi-Verfahren)
- Konvergenzgeschwindigkeit
- Lineare Gleichungssysteme mit speziellen (z.B. dünn besetzten) Matrizen
Gradientenabstieg:
- Line-search, Schrittweitestrategien
- Newton-Verfahren (für quadratische Funktionen), Levenberg-Marquardt, Gauß-Newton, Quasi-Newton
- Stochastischer Gradientenabstieg (Momentum, Nesterov Momentum)
- Adaptive Lernraten (AdaGrad, RMSProp, Adam)
Kleinste Quadrate (Least Squares - LS):
- Formulierung
- Lineares LS, nichtlineares LS, alternierendes LS
- Varianten LS
- Vektorielle Residuen
- Robustes LS
Restringierte Optimierung:
- Lagrange-Multiplikatoren
- SVM
Auf Wunsch: Spezielle Kapitel
M. P. Deisenroth, A. A. Faisal, C. S. Ong. Mathematics for Machine Learning. Cambridge University Press. 2020.
I. Goodfellow, Y. Bengio, A. Couville. Deep Learning. MIT Press. 2016.
J. Nocedal, S. J. Wright. Numerical Optimization. Springer. 2006.
W. H. Press, S. A. Teukolsky, W. T. Vetterling, B. P. Flannery. Numerical Recipies in C. Cambridge University Press. 2007.