Approfondissement SIA

Voir la page complète

·         Les différentes classes de signaux

·         Rappel des représentations classiques (corrélations, densités spectrales)

·         Décomposition sur des bases de fonctions (Fourier, Haar, Hadamard, …)

·         Représentations temps-fréquence (Transformée de Fourier glissante, distributions d'énergie - classe de Cohen : Wigner-Ville,...)

·         Représentations temps-échelle (transformée en ondelette continue décompositions en ondelettes orthogonales, bi-orthogonales, frames, analyse multirésolution).

Voir la page complète

·         Les différents problèmes traités : identification, inversion, annulation de bruit, prédiction

·         Filtre optimal de Wiener

·         Algorithme du gradient stochastique

·         Filtre optimal au sens des moindres carrés

·         Algorithme des moindres carrés récursifs

·         Algorithme de Kalman

Voir la page complète

La partie initiale du cours comprend des rappels en algèbre linéaire (décomposition spectrale, décomposition en valeurs singulières) et en probabilités et statistiques (vecteur aléatoire, matrice de covariance, moments empiriques), ainsi qu’une introduction au problème d’approximation de rang faible d’une matrice. Ensuite, nous donnons une formulation statistique à la technique d’analyse en composantes principales (PCA), et puis nous étudions ses propriétés et les aspects pratiques liés à son utilisation. Enfin, nous introduisons le problème d’analyse en composantes indépendantes (ICA), pour ensuite décrire quelques approches classiques (maximisation de la kurtosis, maximisation de la néguentropie, minimisation de l’information mutuelle) et des algorithmes basiques qui en découlent.

Voir la page complète

Plan du cours

·        Exemple introductif : déconvolution de signaux parcimonieux

◦    modélisation direct

◦    inversion naïve et solutions des moindres carrés

◦    régression parcimonieuse (MP, OMP)

·        Caractérisation des problèmes inverses

◦    problèmes mal-posés

◦    conditionnement

◦    solutions basés sur la SVD

·        Régularisation/pénalisation

◦    formulation pénalisées et contraintes

◦    régularisations de Tikhonov

◦    régularisation parcimonieuses

·        Formulation probabiliste

◦    inversion et estimation

◦    cas linéaire gaussien

◦    régularisation bayésienne

Voir la page complète

Voir la page complète

Voir la page complète

Cette matière se décline sous la forme d’une séance de cours (CM) suivie de trois séances de cours-TP (CTP) combinant l’exposition des concepts à des exemples pratiques sur jupyter. La séance CM fournit les éléments de base pour comprendre l’apprentissage automatique (données, hypothèses, risque statistique, risque empirique, fonction de perte, ...), et en particulier le paradigme d’apprentissage supervisé, sur lequel se focalise ce cours. Ensuite, la première séance CTP permet la prise en main de numpy avec une implémentation d’une couche classique (MLP) d’un modèle d’apprentissage profond (réseau de neurones), et de son entraînement. Le deuxième CTP se focalise sur l’entraînement d’un modèle profond, les techniques de régularisation et leur lien avec la capacité de généralisation du modèle. Nous introduisons dans le troisième CTP les réseaux de neurones convolutifs (CNN) et leur motivation, ainsi que leur implémentation en pytorch.

Voir la page complète

Plan du cours

·         chaînes de Markov

·         estimation bayésienne

·         modèles de régression

Voir la page complète

Plan du cours

·         algorithme expectation-maximization

·         algorithmes de Monte Carlo

·         approximation variationnelle

Voir la page complète