A Quality Control System for Historical In Situ Precipitation Data

Vincent Y. S. Cheng Xiaolan L. Wang Yang Feng Climate Research Division,Science and Technology Branch,Environment and Climate Change Canada,Toronto,Ontario,Canada

DOI: https://doi.org/10.1080/07055900.2024.2394836

2024-09-19

ATMOSPHERE-OCEAN

Abstract:In this study, a comprehensive quality control (QC) system for in-situ precipitation data records was developed and applied to Canadian in situ precipitation datasets. The system includes a pair of screening procedures to screen for two types of random errors: one procedure is applied to the untransformed monthly total precipitation data series, which is good at finding erroneous data of unusually large values; another is applied to the log-transformed monthly precipitation data (in mm) series, log( P + 0.1), which is good at identifying erroneous zero or near-zero monthly total precipitation amounts. The system then applies three QC (threshold, kriging, and temporal) tests and a decision-making process to confirm whether the screened suspects are erroneous. There is generally good agreement between all the QC tests, while the decision-making process yields the most accurate results when compared to the manually reviewed results. The QC work on Canadian precipitation data sets revealed that it is necessary to apply a pair of screening procedures to identify both types of random errors. All the monthly values identified to be erroneous are set to missing, and so are the corresponding daily values, while keeping records of the original data. [Traduit par la rédaction] Dans cette étude, un système complet de contrôle de la qualité (CQ) pour les enregistrements de données de précipitations in situ a été développé et appliqué aux ensembles de données de précipitations in situ du Canada. Le système comprend une paire de procédures de filtrage pour détecter deux types d'erreurs aléatoires : une procédure est appliquée à la série de données mensuelles sur les précipitations totales non transformées, qui permet de repérer les données erronées de valeurs anormalement élevées; une autre est appliquée à la série de données mensuelles sur les précipitations transformées de façon logarithmique (en mm), log( P + 0,1), qui permet de repérer les quantités mensuelles de précipitations totales erronées, nulles ou presque nulles. Le système applique ensuite trois tests CQ (seuil, krigeage et temporel) et un processus de décision pour confirmer si les suspects sélectionnés sont erronés. Il y a généralement une bonne concordance entre tous les tests CQ, tandis que le processus de prise de décision donne les résultats les plus précis par rapport aux résultats examinés manuellement. Le travail de CQ sur les ensembles de données de précipitations canadiennes a révélé qu'il est nécessaire d'appliquer une paire de procédures de filtrage pour identifier les deux types d'erreurs aléatoires. Toutes les valeurs mensuelles identifiées comme erronées sont considérées comme manquantes, de même que les valeurs journalières correspondantes, tout en conservant les enregistrements des données originales.

meteorology & atmospheric sciences,oceanography