Robust Change Point Detection for High-Dimensional Linear Models with Tolerance for Outliers and Heavy Tails

Zhi Yang,Liwen Zhang,Siyu Sun,Bin Liu
DOI: https://doi.org/10.1002/cjs.11826
2024-01-01
Abstract:This article focuses on detecting change points in high-dimensional linear regression models with piecewise constant regression coefficients, moving beyond the conventional reliance on strict Gaussian or sub-Gaussian noise assumptions. In the face of real-world complexities, where noise often deviates into uncertain or heavy-tailed distributions, we propose two tailored algorithms: a dynamic programming algorithm (DPA) for improved localization accuracy, and a binary segmentation algorithm (BSA) optimized for computational efficiency. These solutions are designed to be flexible, catering to increasing sample sizes and data dimensions, and offer a robust estimation of change points without requiring specific moments of the noise distribution. The efficacy of DPA and BSA is thoroughly evaluated through extensive simulation studies and application to real datasets, showing their competitive edge in adaptability and performance. Ce travail porte sur la d & eacute;tection de points de changement dans les mod & egrave;les de r & eacute;gression lin & eacute;aire de grande dimension o & ugrave; les coefficients de r & eacute;gression sont constants par morceaux. Les auteurs vont au-del & agrave; de l'hypoth & egrave;se conventionnelle de bruit gaussien ou sous-gaussien strict. Dans le monde r & eacute;el, le bruit s'& eacute;carte souvent vers des distributions incertaines ou & agrave; queues lourdes. Pour faire face & agrave; ces complexit & eacute;s, les auteurs proposent deux algorithmes sur mesure. Le premier est un algorithme de programmation dynamique (DPA) visant une meilleure pr & eacute;cision de localisation. Le second est un algorithme de segmentation binaire (BSA) optimis & eacute; pour l'efficacit & eacute; computationnelle. Ces solutions sont con & ccedil;ues pour & ecirc;tre flexibles, s'adaptant & agrave; des tailles d'& eacute;chantillons et des dimensions de donn & eacute;es croissantes. Elles permettent & eacute;galement une estimation robuste des points de changement sans exiger de moments sp & eacute;cifiques pour la distribution du bruit. La performance de la DPA et de la BSA a & eacute;t & eacute; soigneusement & eacute;valu & eacute;e au moyen d'& eacute;tudes de simulation approfondies et d'applications sur des jeux de donn & eacute;es r & eacute;elles. Les r & eacute;sultats montrent clairement qu'elles sont sup & eacute;rieures en termes d'adaptabilit & eacute; et de performance.
What problem does this paper attempt to address?