Transparent reporting items for simulation studies evaluating statistical methods: Foundations for reproducibility and reliability
Coralie Williams,Yefeng Yang,Malgorzata Lagisz,Kyle Morrison,Lorenzo Ricolfi,David I. Warton,Shinichi Nakagawa
DOI: https://doi.org/10.1111/2041-210x.14415
2024-10-01
Methods in Ecology and Evolution
Abstract:Simulation studies are essential tools to assess statistical methods. Functioning as controlled experiments, simulations generate data from known underlying processes. However, unclear or incomplete reporting of simulation studies can impact their interpretability and reproducibility, potentially leading to the misuse of statistical methods. While Morris et al. (2019, Stat Med, 38, p. 2074) recently provided guidance on the planning and conduct of simulation studies for statistical method evaluation, there is currently no comprehensive set of reporting guidelines in ecology and evolutionary biology. Here, we propose 11 reporting items for statistical simulation studies extending on Morris and colleagues' guidance. These items span across three stages: planning, coding and analysis. We also clarify the terminology related to statistical components and the broad purposes of statistical simulation studies. To highlight our proposed reporting items with current practices, we surveyed 100 articles in ecology and evolution journals that included a simulation study evaluating a statistical method. Our survey found room for improvement in more transparent reporting to ensure clear evaluation of statistical methods. Most notably, only a small proportion of articles reported a Monte Carlo uncertainty (17%; 17 out of 98), and 32% (32 out of 100) articles did not provide code. Beyond the proposed reporting items, we discuss the benefits of open science tools to enhance the reproducibility of simulation studies. Specifically, we propose the registration of statistical simulation studies to enhance planning, reporting and collaboration. We aim to instigate discussions to improve the reporting of simulation studies for statistical method research. The reporting items we propose, along with open science tools, serve as a template for developing standards and guidelines for simulation studies evaluating statistical methods. These reporting guidelines will help enhance reproducibility and indirectly encourage more consideration in the design and conduct of these simulation studies. Résumé Les études de simulation sont des outils essentiels pour évaluer les méthodes statistiques. Fonctionnant comme des expériences contrôlées, les simulations génèrent des données à partir de processus sous‐jacents connus. Cependant, la rédaction peu clairs ou incomplets sur les études de simulation peut avoir un impact sur leur interprétabilité et leur reproductibilité, conduisant potentiellement à une mauvaise utilisation des méthodes statistiques. Alors que Morris et al. (2019, Stat Med, 38, p. 2074) ont récemment fourni des conseils sur la planification et la conduite d'études de simulation pour l'évaluation des méthodes statistiques, il n'existe actuellement aucun ensemble de guides en matière de rédaction dans le domaine de l'écologie et de la biologie évolutive. Nous proposons ici onze éléments de rédaction pour les études de simulation statistique qui s'appuient sur les conseils de Morris et de ses collègues. Ces éléments couvrent trois étapes: la planification, le codage et l'analyse. Nous clarifions également la terminologie relative aux composantes statistiques et aux objectifs généraux des études de simulation statistique. Afin de mettre en évidence les éléments de rédaction proposés par rapport aux pratiques actuelles, nous avons enquêté sur 100 articles publiés dans des revues d'écologie et d'évolution qui comprenaient une étude de simulation évaluant une méthode statistique. Notre enquête a révélé qu'il était possible d'améliorer la transparence de la rédaction afin de garantir une évaluation claire des méthodes statistiques. En particulier, seule une petite proportion d'articles faisait état d'une incertitude de Monte Carlo (17%; 17 sur 98), et 32% (32 sur 100) des articles ne fournissaient pas de code. Au‐delà des éléments de rédaction proposés, nous discutons des avantages des outils pour la science ouverte pour améliorer la reproductibilité des études de simulation. Plus précisément, nous proposons l'enregistrement des études de simulation statistique afin d'améliorer la planification, le rapport et la collaboration. Nous visons à susciter des discussions afin d'améliorer la rédaction des études de simulation pour la recherche sur les méthodes statistiques. Les éléments de rédaction que nous proposons, ainsi que les pratiques de science ouverte, servent de modèle pour développer des guides et des lignes directrices pour les études de simulation évaluant les méthodes statistiques. Ces lignes directrices contribueront à améliorer la reproductibilité et encourageront indirectement une plus grande prise en compte dans la conception et la conduite de ces études de simulation. 摘要 仿真模拟研究为统计方法的评估提供了重要工具。类似于试验,仿真模拟可以通过已知的基本过程来生成数据。然而,不明确或不完整的内容报告会影响仿真模拟研究的可解释性和可重复性,从而可能会引起统计方法的误用。虽然Morris等人(2019,Stat Med,38,p. 2074)最近在通过模拟研究的计划和实施的手段来评估统计方法提供了指导,但目前在生态学和进化生物学领域仍缺乏系统 -Abstract Truncated-
ecology