When RMSE hides a difference

Cyril Voyant · 18 October 2026

English · Français ci-dessous

At a thirty-minute horizon, the NICE study reports a rounded median nRMSE of 0.19 for both an ELM and an autoregressive model. The composite NICEΣ score nevertheless gives 0.75 versus 0.77, with a statistically significant difference in the reported test. The finding is more than a change of notation: the evaluation metric changes how effectively forecasts can be distinguished.

Published in Sustainable Energy Technologies and Assessments, the study introduces a family based on error norms of orders one, two and three. NICE¹ tracks average errors, NICE² gives more weight to large deviations and NICE³ amplifies extremes. NICEΣ combines those dimensions. A persistence reference places error in the context of the series, rather than normalising solely by mean irradiance. The components therefore describe different aspects of performance instead of assuming that a single conventional error statistic answers every evaluation question.

Validation combines Monte Carlo simulations with observations from 68 SIAR stations in Spain. Comparisons include autoregressive models, Extreme Learning and smart persistence. The paper distinguishes a theoretical construction, which depends on strict statistical assumptions, from empirical evaluation. It does not justify substituting a theoretical expression for observed-error calculations without checking those assumptions.

In the thirty-minute example, the tests give p < 0.001 for NICEΣ and p = 0.0591 for nRMSE. These values concern that protocol and those distributions; they do not directly measure the economic importance of the improvement. Users can select sensitivity to extreme errors that fits their application while retaining absolute errors and calculation assumptions. The public PV_ELM_pred code documents the components and their average. Relative scores above one should remain visible: persistence can outperform the model being evaluated.

Même nRMSE, modèles différents : ce que révèle NICE

À trente minutes, le tableau de notre étude NICE rapporte une nRMSE médiane arrondie de 0,19 pour un modèle ELM comme pour un modèle autorégressif. Le score composite NICEΣ donne pourtant 0,75 contre 0,77, avec une différence statistiquement significative dans le test rapporté. Le résultat n’est pas qu’une nouvelle notation : le choix de la métrique change la capacité à distinguer les prévisions.

Publié dans Sustainable Energy Technologies and Assessments, le travail propose une famille fondée sur les normes d’erreur d’ordres un, deux et trois. NICE¹ suit les erreurs moyennes, NICE² donne davantage de poids aux grands écarts et NICE³ accentue les valeurs extrêmes. NICEΣ combine ces dimensions. La référence de persistance replace l’erreur dans le contexte de la série, plutôt que de normaliser uniquement par une moyenne d’éclairement.

La validation associe simulations Monte-Carlo et observations de 68 stations SIAR en Espagne. Elle compare notamment modèles autorégressifs, Extreme Learning et persistance intelligente. L’article distingue une construction théorique, dépendante d’hypothèses statistiques strictes, de l’évaluation empirique ; il ne recommande pas de substituer aveuglément une formule théorique au calcul sur observations.

Dans l’exemple à trente minutes, les tests donnent p < 0,001 pour NICEΣ et p = 0,0591 pour nRMSE. Ces nombres concernent ce protocole et ces distributions : ils ne mesurent pas directement l’importance économique du gain. L’utilisateur peut choisir une sensibilité aux erreurs extrêmes adaptée à son besoin, tout en conservant les erreurs absolues et les hypothèses de calcul. Le code public PV_ELM_pred documente les composantes et leur moyenne. Un score relatif supérieur à un doit rester visible : la référence de persistance peut être battue, mais aussi faire mieux que le modèle testé.

Paper, authors and resources / Références

Reference / Référence collective : Cyril Voyant, Milan Despotovic, Luis Garcia-Gutierrez, Rodrigo Amaro e Silva, Philippe Lauret, Ted Soubdhan et Nadjem Bailek. NICEᵏ metrics: Unified and multidimensional framework for evaluating deterministic solar forecasting accuracy. Sustainable Energy Technologies and Assessments 83, 104588 (2025). DOI · texte intégral auteur, §3.2.2 et tableau 1 · code benchmark et métriques · DOI logiciel.

All research news · About the author · Methods and code