Modul Data Science, Informatik (Master) (SPO 7)

Ziel: Theoretische und praktische Kenntnissen über Data Analytics im Kontext Maschinellen Lernens

1. Einführung und Motivation
2. Prozessmodelle, z.B. CRISP-DM
3. Datenvorverarbeitung (Feature Engineering im Sinne von processing and cleaning)

• Datentypen: nominal, ordinal, intervall, ratio
• Typische Daten (bag of words, record-daten, heterogene Daten etc.)
• Umgang mit Daten heterogener Typen
• Konvertierung von Datentypen (one-hot-coding etc.)
• Manipulation Wertebereich: Normierung, z.B z-score, bagging, Entropie-basiert usw., fehlende Werte
• Dimensionsreduktion: heuristisch, manuell etc.
• Umfangsreduktion: Sampling etc.
• Spezielle Methoden der Vorverarbeitung, z.B. Word2Vec

1. Exploration

• Deskriptive Statistik
• Datenvisualisierung

1. Modellierung (u.a. Methode kleinster Quadrate), Over-Fitting, Model Tuning

Ziel: Vermittlung von theoretischen und praktischen Kenntnissen über Optimierungsmethoden/-kalküle im Kontext des Maschinellen Lernens (Minimierung der Fehlerfunktion)

Inhalte:

Einführung, Motivation und Modellierung

(Wiederholung) Mehrdimensionale Analysis (u.a. Gradienten einführen und verstehen, Taylorentwicklung, konvexe Funktionen, spezielle Ableitungen)

Numerische Verfahren zur Lösung von Gleichungssystemen:

• Direkte Ansätze (Gauß-Jordan, LU, Cholesky, QR)
• Iterative Ansätze (z.B. Jacobi-Verfahren)
• Konvergenzgeschwindigkeit
• Lineare Gleichungssysteme mit speziellen (z.B. dünn besetzten) Matrizen

Gradientenabstieg:

• Line-search, Schrittweitestrategien
• Newton-Verfahren (für quadratische Funktionen), Levenberg-Marquardt, Gauß-Newton, Quasi-Newton
• Stochastischer Gradientenabstieg (Momentum, Nesterov Momentum)
• Adaptive Lernraten (AdaGrad, RMSProp, Adam)

Kleinste Quadrate (Least Squares - LS):

• Formulierung
• Lineares LS, nichtlineares LS, alternierendes LS
• Varianten LS
• Vektorielle Residuen
• Robustes LS

Restringierte Optimierung:

• Lagrange-Multiplikatoren
• SVM

Auf Wunsch: Spezielle Kapitel

M. P. Deisenroth, A. A. Faisal, C. S. Ong. Mathematics for Machine Learning. Cambridge University Press. 2020.

I. Goodfellow, Y. Bengio, A. Couville. Deep Learning. MIT Press. 2016.

J. Nocedal, S. J. Wright. Numerical Optimization. Springer. 2006.

W. H. Press, S. A. Teukolsky, W. T. Vetterling, B. P. Flannery. Numerical Recipies in C. Cambridge University Press. 2007.

Übungen und praktische Optimierungsaufgaben begleitend zur Vorlesung Optimierung.

Die Übung wird mit Python durchgeführt, wahlweise auf dem eigenen Laptop oder auf PCs des Labors für Maschinelles Lernen. Erste Erfahrungen im Umgang mit Python (wie etwa in der Übung Maschinelles Lernen angeboten) werden vorausgesetzt. Die Übung findet in der zweiten Vorlesungshälfte statt.