Four principles for improved statistical ecology
Gordana Popovic,Tanya Jane Mason,Szymon Marian Drobniak,Tiago André Marques,Joanne Potts,Rocío Joo,Res Altwegg,Carolyn Claire Isabelle Burns,Michael Andrew McCarthy,Alison Johnston,Shinichi Nakagawa,Louise McMillan,Kadambari Devarajan,Patrick Leo Taggart,Alison Wunderlich,Magdalena Mair,Juan Andrés Martínez‐Lanfranco,Malgorzata Lagisz,Patrice Pottier
DOI: https://doi.org/10.1111/2041-210x.14270
2024-01-17
Methods in Ecology and Evolution
Abstract:Increasing attention has been drawn to the misuse of statistical methods over recent years, with particular concern about the prevalence of practices such as poor experimental design, cherry picking and inadequate reporting. These failures are largely unintentional and no more common in ecology than in other scientific disciplines, with many of them easily remedied given the right guidance. Originating from a discussion at the 2020 International Statistical Ecology Conference, we show how ecologists can build their research following four guiding principles for impactful statistical research practices: (1) define a focussed research question, then plan sampling and analysis to answer it; (2) develop a model that accounts for the distribution and dependence of your data; (3) emphasise effect sizes to replace statistical significance with ecological relevance; and (4) report your methods and findings in sufficient detail so that your research is valid and reproducible. These principles provide a framework for experimental design and reporting that guards against unsound practices. Starting with a well‐defined research question allows researchers to create an efficient study to answer it, and guards against poor research practices that lead to poor estimation of the direction, magnitude, and uncertainty of ecological relationships, and to poor replicability. Correct and appropriate statistical models give sound conclusions. Good reporting practices and a focus on ecological relevance make results impactful and replicable. Illustrated with two examples—an experiment to study the impact of disturbance on upland wetlands, and an observational study on blue tit colouring—this paper explains the rationale for the selection and use of effective statistical practices and provides practical guidance for ecologists seeking to improve their use of statistical methods. Resumen (Spanish) La atención acerca del uso incorrecto de métodos estadísticos en ecología y áreas relacionadas ha aumentado mucho en los últimos años, con especial énfasis en la incidencia elevada de malas prácticas en el diseño de los estudios, así como también en el reporte inadecuado de los hallazgos, incluyendo resultados parciales o sesgados. Estos fallos son en gran parte involuntarios y, en general, podrían prevenirse con la instrucción adecuada. Con orígen en un taller de trabajo en el marco de la Conferencia Internacional de Ecología Estadística en 2020, proponemos una serie de cuatro principios orientadores para el desarrollo de investigaciones con base en buenas prácticas estadísticas. Estas pautas son: (1) Definir una pregunta de investigación bien enfocada, para luego planificar el muestreo y el análisis de datos para darle respuesta; (2) Concebir un modelo estadístico que contemple la distribución y las estructuras de dependencia en los datos; (3) Enfatizar la interpretación de los resultados en base a la magnitud de los efectos, y reemplazar la significancia estadística tradicional con la relevancia en términos ecológicos; y (4) Reportar los métodos y los hallazgos con suficiente detalle para que éstos puedan ser reproducibles y la investigación pueda validarse. Comenzar con una pregunta bien definida permite diseñar un estudio eficiente para su respuesta, en tanto que la ejecución de análisis estadísticos apropiados es fundamental para extraer información sólida y confiable. Por otro lado, la interpretación en base a la relevancia ecológica confiere mayor impacto y utilidad a los hallazgos, y el reporte adecuado de todos los procedimientos genera transparencia y permite replicación del estudio. La implementación de estas prácticas permite evitar fallas comunes que, en consecuencia, llevan a evaluaciones pobres de la magnitud, dirección, e incertidumbre asociada a los efectos ecológicos que se pretenden elucidar. En suma, estos principios proporcionan un marco para el diseño y conducción de estudios en base a buenas prácticas. Ilustrado con dos ejemplos—un experimento que evalúa el impacto de perturbaciones en humedales de tierras altas, y un estudio observacional acerca de la coloración del Herrerillo Común—este artículo argumenta cómo la incorporación los cuatro principios llevará a la ejecución de prácticas de investigación efectivas, y representa una guía práctica para mejorar el uso y aplicación de métodos estadísticos en Ecología y áreas afines. Resumo (Portuguese) Nos últimos anos assistimos a uma cada vez maior chamada de atenção para a utilização inadequada de métodos estatísticos, em particular no que diz respeito a práticas comuns como delineamentos experimentais deficientes, escolha seletiva de resultados ou a inadequada apresentação de resultados. Estas falhas são geralmente não intencionais, e muitas podem ser evitadas com formação adequada. No seguimento de uma sessão de Discussão na Conferencia Internacional de Ecologia Estatística de 2020, sugerimos que o -Abstract Truncated-
ecology