Il corso è un'introduzione alla teoria e alle tecniche di machine learning per la creazione di modelli di apprendimento da dati.

Conoscenza e Comprensione: Lo studente acquisira’ una comprensione basica delle tecniche piu’ comuni di apprendimento supervisionato (e non) oltre alla capacita’ di quantificare e valutare le prestazioni dei vari modelli.

Applicazione della conoscenza: Lo studente sara’ capace di sviluppare da zero un modello di apprendimento automatico a partire dalla pre-elaborazione dei dati grezzi fino alla presentazione dei risultati finali di regressione, classificazione o analisi di clustering.

Capacità comunicative: lo studente acquisira’ la capacita’ di presentare i risultati del modello di machine learning sviluppato assieme ad una spiegazione delle motivazioni che hanno portato a tale scelta.

Capacita’ di apprendimento: lo studente sara’ capace di orientarsi nella letteratura del machine learning e di confrontare e migliorare il modello scelto.

Conoscenza di base di Python e scientific Python. Conoscenza delle operazioni matriciali e Calculus.

1. Nozioni di base, regressione lineare e logistica. 2. Complessita’ del modello, relazione Bias-Varianza, regolarizzazione, valutazione del modello. 3. Alberi decisionali e classificatori K-NN. 4. PCA e riduzione di dimensionalita’, stima della densita’ di probabilita’, metodi di clustering. 5. Support Vector Machines e metodi kernel 6. Reti neurali e deep learning. 7. Reinforcement Learning

Raccomandati
1. C. M. Bishop, Pattern recognition and machine learning. New York, NY:
Springer, 2009.
2. J. Friedman, T. Hastie, and R. Tibshirani, The elements of statistical
learning, vol. 1. Springer series in statistics Springer, Berlin, 2001.

Altri testi:
3. Machine Learning: an algorithmic perspective, S. Marsland, Chapman and Hall/CRC, 2014

1. Nozioni di base: Funzioni di Loss, Train and test data, nozioni di underfitting/overfitting con regressione lineare. Relazione di Bias/variance. 2. Regressione logistica e discesa del gradiente. Model complexity e regolarizzazione (ridge, lasso and elastic nets). Model Assessment (Validation and cross-fold validation, Accuracy, Confusion matrix, Metrics per classificazione binaria). 3. Decision Trees: overfitting, bagging e boosting. Classificatori k-NN. 4.PCA e riduzione di dimensionalita’. Stima della densita’ di probabilita’ (istogrammi, k-nearest neighbor, kernel density estimation); 5. Support Vector Machines: Iperpiano di separazione: maximal margin classifier; support vectors; Kernel methods: problemi non separabili linearmente ; feature augmentation. Kernel regression, kernel trick Kernel SVM, kernels più communi. 6. Artificial Neural Networks e deep learning. Perceptron, Esempi con ReLu networks; Learning: forward e backward pass; Gradient descent e stochastic gradient descent; Proprietà: generalizazzione, robustezza e interpretabilità ; Data augmentation e invarianza; Architetture: Fully connected, Convolutional, Resnets. Altre architetture (tempo permettendo). 7. Introduzione al Reinforcement Learning, Formalizzazione con i Markov Decision Processes (MDP), Programmazione Dinamica, Metodi di Monte Carlo, Temporal Difference Learning, Funzione Q e Deep Q-Networks (DQN), Policy Gradient e Actor-Critic

Lezioni frontali, esercitazioni in classe, esercitazioni a casa e progetti di gruppo.

Le esercitazioni saranno in classe usando il proprio laptop.

L’esame consistera’ di due parti 1. Un progetto che può svolgersi in gruppo (2 o 3 studenti) o singolarmente. Ogni gruppo avra’ uno o piu’ obiettivi, tipicamente l’analisi di un dataset complesso o di una metodologia in dettaglio, e alla fine ci sara’ una breve presentazione sul lavoro fatto (con codice commentato). Verrà valutata la chiarezza d'esposizione, la capacità di sintesi assieme alla comprensione della teoria sottostante al progetto. 2. un esame scritto immediatamente prima dell esame orale. Verra verificata la conoscenza di base tramite domande a scelta 3. un esame orale con alcune domande per testare il contributo di ogni membro del gruppo e la sua preparazione rispetto agli argomenti del corso.