Le modèle ne fait pas tout : variabilité, mémoire et prévisibilité

Deux prévisions produites par le même algorithme peuvent avoir des erreurs différentes parce que le signal, l’horizon et l’information disponible diffèrent. Mon point de départ est donc le phénomène à prévoir. Décrire sa variabilité et sa mémoire aide à choisir une référence, à interpréter une erreur et à décider si davantage de complexité apporte quelque chose.

Manipuler les séries · Relier les trois études · Comprendre le « no free lunch » · Articles et équipes

1. Décrire le signal

Distinguer le cycle astronomique, l’écart au ciel clair et les changements entre instants.

2. Chercher la mémoire

Observer quelles dépendances restent exploitables à l’horizon de la décision.

3. Évaluer le modèle

Comparer sur les mêmes données de test, avec une référence explicite et des unités cohérentes.

Un laboratoire pour séparer mémoire, bruit et choix du modèle

Au lieu de simplement mélanger une courbe, on génère ici un signal à deux états avec une mémoire connue. On ajoute un bruit additif, un bruit multiplicatif ou les deux. La question devient mesurable : quelle information la régression apprend-elle, comment ses coefficients changent-ils, et quelle erreur attendue resterait même si l’on connaissait l’état courant du générateur ?

Modèle, hypothèses et formules de l’expérience principale

Un état St vaut −1 ou +1, avec probabilité de changer d’état q = (1−r)/2. Il démarre dans la distribution stationnaire équiprobable. Le signal latent est Kt = μ + aSt, avec μ = 0,6. Pour a > 0, son autocorrélation exacte est rh. Le signal observé est Yt = Kt(1 + βZm,t) + σaZa,t. Les deux Z sont indépendants entre eux, entre instants et de l’état, uniformes sur [−√3,+√3] : moyenne nulle, variance 1. Le bruit multiplicatif a une variance conditionnelle β²K² ; celle du bruit additif vaut σa². Les bornes des commandes garantissent Y > 0 sans écrêtage. Ce modèle pédagogique n’est pas un modèle météorologique validé.

L’oracle connaît S à l’origine de prévision : ŷoracle,t+h = μ + arhSt. Son risque quadratique moyen exact dans ce générateur est Rh = a²(1−r2h) + σa² + β²(μ²+a²). Les trois termes décrivent transitions futures, bruit additif et bruit multiplicatif. √Rh est une RMSE attendue, pas une limite que chaque échantillon fini doit respecter. L’oracle reçoit une information privilégiée : sa courbe n’est pas une prévision opérationnelle. Cette borne optimiste appartient à ce générateur ; ce n’est ni un résultat numérique des articles cités ni une borne physique du solaire.

La régression à horizon h ajuste ŷ = A + BYt sur les seules paires de l’entraînement. En régime stationnaire, son coefficient linéaire optimal en population est B* = a²rh / [a² + σa² + β²(μ²+a²)] ; le bruit d’observation réduit ainsi la mémoire accessible à une simple régression. Les valeurs affichées A et B sont estimées, pas remplacées par cette formule. Entraînement : indices 0–599 ; test : 624–1199, avec tampon de 24 pas. Chaque origine précède sa cible d’exactement h pas et suit la fin de l’entraînement. Les modèles voient uniquement Y ; les diagnostics sCV/F utilisent toute la série a posteriori, avec Iclr = 1, d = 0,2 et T = 24 conventionnel pour F.

La MAE mesure la moyenne des erreurs absolues. La RMSE pénalise davantage les grandes erreurs ; nRMSE = 100 × RMSE / moyenne des observations test. NICE¹ et NICE² divisent respectivement MAE et RMSE par celles de la persistance simple au même horizon, sur les mêmes cibles. NICEΣ est la moyenne équipondérée des trois rapports L¹, L² et L³, selon le code NICE de référence. Une référence parfaite rend les rapports indéfinis. Méthode et article NICE.

Trois études complémentaires, trois questions

2015, Peut-on diagnostiquer la difficulté avant de choisir le prévisionniste ?

En 2015, j’ai étudié cette question avec Ted Soubdhan, Philippe Lauret, Mathieu David et Marc Muselli. Notre article examine des paramètres statistiques pour anticiper l’erreur de prévision solaire. Le mean absolute log return (MALR), issu de l’économétrie, décrit l’amplitude des changements relatifs. Ce diagnostic empirique ne dispense pas de tester le modèle sur le site et à l’horizon visés. Article dans Energy (2015).

2025, Estimer une erreur attendue à partir de la variabilité

Avec Philippe Lauret, Mathieu David, Josselin Le Gal La Salle, Elke Lorenz et Richard Perez, j’ai étudié comment la variabilité horaire σ(Δkc) renseigne sur la RMSE, au moyen de régressions calibrées sur 60 sites pour les horizons intra-journaliers et le jour suivant. Philippe Lauret est premier auteur ; je suis coauteur. Les intervalles à 95 % sont statistiques, pas des limites physiques universelles. Article dans Solar Energy (2025).

sCV et F, Quelle part vient de l’écart au ciel clair, quelle part de la mémoire ?

La sCV normalise l’écart quadratique au ciel clair. Elle ne décrit pas à elle seule l’ordre temporel des valeurs. L’indicateur F ajoute la dépendance des résidus à des retards compatibles avec l’horizon. On peut ainsi avoir les mêmes valeurs et la même sCV, mais des structures temporelles et des performances de référence très différentes. Article Renewable Energy (2026) · Calculateur sCV/F · Code de référence.

Annexe : mêmes valeurs, ordre temporel différent, avec les formules sCV/F

Une expérience qui sépare amplitude et ordre temporel

Nous construisons une série positive de période artificielle 24, puis mélangeons une copie de ses valeurs. L’histogramme reste identique. La comparaison oppose deux règles simples : recopier la valeur disponible à l’origine de la prévision, ou utiliser la moyenne estimée sur la première moitié. Le but est de comprendre ces règles et leurs hypothèses. Il ne s’agit ni de mesures solaires ni d’un nouveau benchmark des articles.

Les formules derrière les panneaux

Ici la référence est constante : Iclr = 1 et k = I/Iclr. Nous isolons ainsi l’ordre temporel ; le cycle du Soleil sera réintroduit lors d’une application réelle. Avec Δkt = kt − kt−1, MALR = moyenne(|ln(kt/kt−1)|). Toutes les valeurs de cette expérience sont positives ; sur des données réelles, le traitement des zéros et des nuits doit être explicite. σ(Δk) et MALR sont sensibles aux voisins temporels : les mélanger les change.

Dans l’expérience, sCV = √2/(1−d) × √moyenne[(k−1)²], avec d = 0,2. La formule générale normalise par la valeur quadratique moyenne du ciel clair. Pour les résidus ε = I − Iclr, F(h) = 1 + sCV[ρmax(h) − 1], où ρmax est le maximum de |ρ(ℓ)| pour h ≤ ℓ ≤ T/2, ici T = 24. Les corrélations sont calculées sur les paires disponibles, comme dans le code MATLAB de référence. La normalisation sCV = 1 est une référence, pas un plafond à imposer par écrêtage à toute série.

Pour chaque cible t de la moitié test : ŷpers(t) = k(t−h) et ŷmoy(t) = moyenne(k0:95). Les RMSE utilisent exactement les mêmes 72 cibles, aux indices 120 à 191. Après l’entraînement (indices 0 à 95), une zone tampon de 24 pas garantit que la moyenne est déjà estimée avant chaque origine de prévision, même à horizon 12. La moyenne reste fixée ; aucune cible future ne sert à la réestimer. Les diagnostics sCV, F, MALR et σ(Δk), eux, décrivent ici toute la série a posteriori. Ce sont deux usages distincts des données.

« No free lunch » : la structure du problème compte

Wolpert et Macready ont établi des théorèmes de « no free lunch » pour l’optimisation : sous une moyenne uniforme sur l’ensemble des fonctions d’un problème fini, les performances moyennes des algorithmes de recherche considérés coïncident. Ce cadre précis n’est pas la distribution des problèmes solaires réels. Il ne démontre ni que tous les modèles se valent sur un domaine donné, ni qu’un modèle simple gagne toujours. Texte de référence (1997).

Le rapprochement est méthodologique : les hypothèses d’un modèle doivent rencontrer la structure du problème. Une expérience de mélange n’est pas une preuve du théorème. Elle montre concrètement que le choix de référence et l’horizon changent ce que l’erreur raconte. À horizon 12, une anticorrélation peut être informative, alors que la persistance, qui recopie sans inverser, devient inadaptée.

Le message pour une décision réelle

Comprendre le signal, formuler une référence, mesurer le gain, puis complexifier si ce gain le justifie. Une erreur faible sur un ciel facile n’a pas le même sens qu’une erreur comparable dans un contexte instable. Inversement, une forte variabilité ne suffit pas à conclure à une absence de structure prévisible. Il faut examiner l’horizon, les données accessibles à l’origine, la validation hors entraînement et le coût du modèle.

Cette démarche rejoint l’étude des neutrons atmosphériques : la simulation quantifie ce qu’un mécanisme peut apporter, avec ses limites. Pour le solaire, poursuivre avec NICE et la référence de persistance, BLEND, les cycles du Soleil et l’horodatage et le fil de mes recherches.

Articles et équipes complètes

  1. Cyril Voyant, Milan Despotovic, Luis Garcia-Gutierrez, Rodrigo Amaro e Silva, Philippe Lauret, Ted Soubdhan, Nadjem Bailek. NICE k metrics: Unified and multidimensional framework for evaluating deterministic solar forecasting accuracy (2025).
  2. Cyril Voyant, Ted Soubdhan, Philippe Lauret, Mathieu David, Marc Muselli. Statistical parameters as a means to a priori assess the accuracy of solar forecasting models (2015).
  3. Philippe Lauret, Mathieu David, Josselin Le Gal La Salle, Elke Lorenz, Richard Perez, Cyril Voyant. A simple method for quickly estimating solar irradiance forecast errors (2025).
  4. Cyril Voyant, Alan Julien, Milan Despotovic, Gilles Notton, Luis Antonio Garcia-Gutierrez, Claudio Francesco Nicolosi, Philippe Blanc, Jamie Bright. Stochastic coefficient of variation: Assessing the variability and forecastability of solar irradiance (2026).
  5. David H. Wolpert, William G. Macready. No Free Lunch Theorems for Optimization. IEEE Transactions on Evolutionary Computation, 1(1), 67–82 (1997).