Beyond pointwise errors

Cyril Voyant · 18 October 2026

English · Français ci-dessous

In the gamma-index paper’s synthetic experiment, more than 80% of pixels remain acceptable despite an approximately two-kilometre spatial displacement, a ten-minute time shift and added noise. Pixelwise RMSE nevertheless suggests substantial error. This illustrates the double-penalty problem: a displaced cloud structure is penalised at both its predicted and observed positions.

Published in International Journal of Forecasting, Cyril Voyant’s paper transfers an idea from radiotherapy dose verification to the verification of forecast fields. Three tolerances are specified explicitly: spatial distance DTA, time displacement TTA and intensity difference IDT. The method searches for agreement in a neighbourhood, rather than comparing only identical coordinates at an identical instant.

The gamma criterion combines normalised discrepancies; a pixel passes when gamma is less than or equal to one. The Gamma Pass Rate, GPR, reports the corresponding proportion, while mean and maximum gamma complete the diagnosis. In the illustration above, tolerances are two kilometres, thirty minutes and 50 W/m². Those values give the result a precise interpretation; they are not a universal verification standard. The experiment does not mean that every two-kilometre displacement is acceptable under every operational requirement.

The paper also applies the framework to satellite-derived solar-irradiance fields over Corsica. Its practical value is distinguishing a small positioning error from a more important physical disagreement. Public MATLAB code supplies the calculation function and a synthetic example; that example does not redistribute restricted satellite observations. Selecting tolerances before model comparison and reporting RMSE alongside gamma keeps the evaluation transparent. Relaxing the tolerances can raise the pass rate without improving the forecast itself. Gamma therefore adds an acceptance question to error measurement rather than replacing every existing score.

Une prévision décalée peut rester exploitable : le test gamma

Dans l’expérience synthétique du travail gamma-index, plus de 80 % des pixels restent acceptables malgré un déplacement spatial d’environ deux kilomètres, un décalage de dix minutes et un bruit ajouté. Le RMSE pixel à pixel donne pourtant une impression de forte erreur. Ce résultat illustre le problème de double pénalité : une structure nuageuse déplacée est pénalisée à son emplacement prévu et à son emplacement observé.

Publié dans International Journal of Forecasting, l’article de Cyril Voyant transpose à la prévision de champs une idée issue de la vérification des doses en radiothérapie. Trois tolérances sont fixées explicitement : distance spatiale DTA, décalage temporel TTA et différence d’intensité IDT. La méthode recherche l’accord dans un voisinage plutôt qu’au seul pixel de même coordonnées et au même instant.

Le critère gamma combine les écarts normalisés ; un pixel satisfait le test lorsque gamma est inférieur ou égal à un. Le taux de passage, GPR, indique la proportion correspondante ; moyenne et maximum gamma complètent le diagnostic. Dans l’illustration citée, les tolérances sont deux kilomètres, trente minutes et 50 W/m². Elles donnent un sens précis au résultat ; elles ne constituent pas une norme universelle.

Le travail applique aussi le cadre à des cartes satellitaires d’éclairement solaire en Corse. L’intérêt pour un utilisateur est de distinguer un petit défaut de positionnement d’une divergence physique plus importante. Le code MATLAB public fournit la fonction de calcul et un exemple synthétique ; cet exemple ne redistribue pas les observations satellitaires à accès restreint. Choisir les tolérances avant la comparaison et publier le RMSE en complément conserve une lecture transparente. Relâcher les tolérances peut augmenter le taux de passage sans améliorer la prévision elle-même.

Paper, authors and resources / Références

Référence: Cyril Voyant, seul auteur. A tolerance-based framework for spatiotemporal forecast validation using the γ-index. International Journal of Forecasting 42(4), 1207–1214 (2026). DOI · manuscrit auteur public, section 3.1 · code · DOI logiciel.

All research news · About the author · Methods and code