Métriques NICE : quand le RMSE masque une différence entre prévisions solaires
Même nRMSE, modèles différents : ce que révèle NICE
À trente minutes, le tableau de notre étude NICE rapporte une nRMSE médiane arrondie de 0,19 pour un modèle ELM comme pour un modèle autorégressif. Le score composite NICEΣ donne pourtant 0,75 contre 0,77, avec une différence statistiquement significative dans le test rapporté. Le résultat n’est pas qu’une nouvelle notation : le choix de la métrique change la capacité à distinguer les prévisions.
Publié dans Sustainable Energy Technologies and Assessments, le travail propose une famille fondée sur les normes d’erreur d’ordres un, deux et trois. NICE¹ suit les erreurs moyennes, NICE² donne davantage de poids aux grands écarts et NICE³ accentue les valeurs extrêmes. NICEΣ combine ces dimensions. La référence de persistance replace l’erreur dans le contexte de la série, plutôt que de normaliser uniquement par une moyenne d’éclairement.
La validation associe simulations Monte-Carlo et observations de 68 stations SIAR en Espagne. Elle compare notamment modèles autorégressifs, Extreme Learning et persistance intelligente. L’article distingue une construction théorique, dépendante d’hypothèses statistiques strictes, de l’évaluation empirique ; il ne recommande pas de substituer aveuglément une formule théorique au calcul sur observations.
Dans l’exemple à trente minutes, les tests donnent p < 0,001 pour NICEΣ et p = 0,0591 pour nRMSE. Ces nombres concernent ce protocole et ces distributions : ils ne mesurent pas directement l’importance économique du gain. L’utilisateur peut choisir une sensibilité aux erreurs extrêmes adaptée à son besoin, tout en conservant les erreurs absolues et les hypothèses de calcul. Le code public PV_ELM_pred documente les composantes et leur moyenne. Un score relatif supérieur à un doit rester visible : la référence de persistance peut être battue, mais aussi faire mieux que le modèle testé.
Article, auteurs et ressources
Référence collective : Cyril Voyant, Milan Despotovic, Luis Garcia-Gutierrez, Rodrigo Amaro e Silva, Philippe Lauret, Ted Soubdhan et Nadjem Bailek. NICEᵏ metrics: Unified and multidimensional framework for evaluating deterministic solar forecasting accuracy. Sustainable Energy Technologies and Assessments 83, 104588 (2025). DOI · texte intégral auteur, §3.2.2 et tableau 1 · code benchmark et métriques · DOI logiciel.
Théorie complète, code et exemple exécutable (site des méthodes, en anglais) · Tous les récits · L'auteur