Aller au contenu Aller au menu Aller à la recherche

Événements et séminaires - LSTA
Laboratoire de Statistique Théorique et Appliquée

Partenariats

Informations pratiques

La séminaire a lieu le mardi, en alternance à Jussieu (UPMC) et à Sophie Germain (Paris Diderot).

 

À Jussieu : 10h45 en salle de séminaire (201), couloir 15-16 (2 ème étage).

Plan de JussieuNouvelle fenêtre

 

Au bâtiment Sophie Germain : 12h00 en salle 2015 (2 ème étage).

Prendre le grand escalier à droite en entrant ...

» En savoir +

Chiffres-clé

Chiffres

17 enseignants-chercheurs

18 doctorants

3 personnels administratifs

 

A voir

Nouvelle fenêtre

 

Nouvelle fenêtre

 

    Nouvelle fenêtre

Nouvelle fenêtre

20/06/2017 - A. Dieuleveut (ENS Ulm)

Séminaire Commun de Statistique P6-P7

10h45 à Jussieu dans la salle de séminaire du LSTA, Tour 15-16 – 2 ème étage.
Bridging the Gap between Constant Step Size Stochastic Gradient Descent and Markov Chains

We consider the minimization of an objective function given access to unbiased estimates of its gradients through stochastic gradient descent (SGD) with constant step-size. While the detailed analysis was only performed for quadratic functions, we provide an explicit asymptotic expansion of the moments of the averaged SGD iterates that outlines the dependence on initial conditions, the effect of noise and the step-size, as well as the lack of convergence in the general (non-quadratic) case. For this analysis, we bring tools from Markov chain theory into the analysis of stochastic gradient and create new ones (similar but different from stochastic Langevin diffusions). We then show that Richardson-Romberg extrapolation may be used to get closer to the global optimum and we show empirical improvements of the new extrapolation scheme.