CANDILLE
"Validation des Systèmes de Prévisions Météorologiques Probabilistes"
le 10 juin 2003 à 15h LMD/ENS
24 rue Lhomond 75231 Paris 05
salle 316 (TAO), 3e étage
devant le jury suivant:
-François-Xavier LeDimet rapporteur
-Claude Frankignoul examinateur
-Michel Déqué examinateur
-Hervé de Feraudy examinateur
-Gilbert Brunet examinateur
-Olivier Talagrand directeur de thèse
Résumé:
Ce travail de thèse a pour objet l'étude et l'évaluation des systèmes
de prévisions probabilistes, et plus particulièrement la validation des
méthodes de prévision météorologique d'ensembles. Les systèmes de
prévisions probabilistes doivent répondre à deux critères de qualités
statistiques indépendants, globalement nécessaires et suffisants: la
fiabilité (cohérence statistique) et la résolution (variabilité
statistique).
Dans un premier temps, nous étudions des outils classiques de validation
pour le cas de la prévision d'occurrence d'un événement binaire. Dont le
score de Brier qui se décompose algébriquement en 2 composantes mesurant
séparément la fiabilité et la résolution. Nous mettons aussi en
évidence les différences entre plusieurs scores évaluant la résolution des
systèmes probabilistes: courbe ROC, entropie et composante résolution du
score de Brier.
Nous étendons ensuite notre validation aux systèmes produisant des
fonctions de densité de probabilités d'une variable scalaire. Nous
généralisons alors la décomposition du score de Brier aux RPS (Ranked
Probability Scores), ce qui permet de mesurer la fiabilité et la
résolution des systèmes considérés ici. Cette étude a mis en évidence
de substantielles limitations à la validation des systèmes de prévisions
probabilistes.
En effet, d'une manière plus générale, l'évaluation de systèmes de
prévisions d'ensembles est limitée par 3 paramètres:
-N la taille des ensembles prévus
-M le nombre de réalisations du système sur lequel sont accumulées les
statistiques
-les erreurs d'observations
Nous montrons alors que le caractère fini de M est le facteur le plus
limitant dans l'évaluation des systèmes probabilistes de prévision
météorologique. Nous soulignons aussi que le fait
d'introduire les erreurs d'observations dans nos validations "modifie" le
critére de la résolution qui devient de ce fait moins exigeant: on ne peut
tout simplement pas demander à un système de prévisions d'être plus précis
que les observations servant à évaluer la prévision.
Appliquant tous ces résultats aux systèmes opérationnels du CEPMMT et
du NCEP pendant ces 4 dernières années, nous avons pu quantifier et
comparer leurs évolutions. Dont les principaux enseignements sont:
- une meilleure performance relative du système du CEPMMT, due à une
meilleure qualité de son modèle numérique.
- un gain de 1 à 2 jours de prévisions, pour les deux centres, entre
les hivers 98/99 et 01/02.
- performances de systèmes dits 'du pauvre' (de moindre couts)
équivalentes, pour les deux centres, à courtes échéances (2/3 jours).
