Comparison of Quality Measures for Building Outline Extraction
Markéta Potůčková,Petr Hofman
DOI: https://doi.org/10.1111/phor.12144
2016-06-01
The Photogrammetric Record
Abstract:Abstract To date, numerous automatic building detection methods using lidar data have been developed. However, in most cases the parameters used for the evaluation of the results are not specified, accuracy assessment results cannot be readily compared or no result evaluation is performed at all. In this study, accuracy assessment aspects have been analysed in order to find a generally applicable approach for the comparison of building outline extraction methods. An area‐based evaluation of accuracy has been selected as the most suitable due to its robustness, predictability and comparability between datasets. This assessment can be further supplemented with both object‐ and area‐based evaluations, procured solely with those buildings that were classified as true positives, in order to interpret the extraction results in more detail. In cases where a reference dataset of superior quality (such as low‐altitude aerial imagery) is available, an absolute accuracy evaluation is also relevant.Résumé De nombreuses méthodes ont été développées ces dernières années pour la détection automatique de bâtiments dans des données lidar. Cependant, les paramètres utilisés pour l’évaluation des résultats sont rarement spécifiés, les résultats du contrôle de précision sont difficiles à comparer et il arrive même qu'aucun contrôle des résultats ne soit effectué. Cette étude analyse plusieurs aspects du contrôle de précision pour définir une approche applicable au cas général pour la comparaison de méthodes d'extraction de la forme des bâtiments. Une méthode d’évaluation de la précision basée sur les surfaces a été retenue en raison de sa robustesse, de sa prédictibilité et de la possibilité qu'elle offre de comparer différents jeux de données. Ce contrôle peut être complété par des évaluations basées aussi bien sur les objets que sur les surfaces et utilisant uniquement les bâtiments classés comme vrais positifs pour une interprétation plus détaillée des résultats de l'extraction. Dans les cas où l'on dispose de données de référence de qualité supérieure (comme des images aériennes acquises à basse altitude), une évaluation de la précision absolue est pertinente également.Zusammenfassung Bis heute wurden zahlreiche Gebäudeerkennungsmethoden aus Lidar Daten entwickelt. Allerdings sind meistens die Parameter, die zur Evaluation der Erkennungsergebnisse eingesetzt werden nicht spezifiziert. Genauigkeitsabschätzungen lassen sich somit nicht direkt vergleichen; oder es wird überhaupt keine Evaluation durchgeführt. In dieser Studie werden Genauigkeitsabschätzungen analysiert, um einen allgemein anwendbaren Ansatz zum Vergleich von Gebäudeextraktionsmethoden zu entwickeln. Eine flächenbasierte Evaluation der Präzision wurde als geeignetster Ansatz wegen ihrer Robustheit, Berechenbarkeit und Vergleichbarkeit gewählt. Diese Beurteilung kann weiter durch objekt‐ und flächenbasierte Evaluationen ergänzt werden, mit Fokus auf die Gebäude, die als solche richtig klassifiziert worden waren, um die Extraktionsergebnisse noch genauer interpretieren zu können. Liegt ein Referenzdatensatz mit übergeordneter Qualität vor (wie z.B. großmaßstäbige Luftbilder), ist eine Evaluation der absoluten Genauigkeit ebenso relevant.Resumen Hasta la fecha se han desarrollado numerosos métodos de detección automática de edificios usando datos lídar. Sin embargo, en la mayoría de las ocasiones no se especifican los parámetros usados en la evaluación de los resultados, por tanto las evaluaciones de la precisión de los resultados no son fácilmente comparables o la comparación no puede llevarse a cabo. Con el objetivo de encontrar un procedimiento para comparar métodos de extracción de edificios se han analizado diferentes aspectos de la validación de la precisión. Teniendo en cuenta la robustez, predictibilidad y comparación entre diferentes conjuntos de datos se selecciona una evaluación de la precisión basada en el área. Con la finalidad de interpretar los resultados de la extracción con más detalle, esta validación puede completarse con evaluaciones basadas en los objetos o en las áreas, basándose únicamente en las construcciones clasificadas como positivas verdaderas. En los casos en que hay disponible un conjunto de datos de referencia de calidad superior (por ejemplo, imágenes aéreas de baja altura) también es relevante una evaluación de la precisión absoluta.摘要 迄今为止,已经开发了大量的利用激光雷达数据进行建筑物自动检测方法。但是,在大多数情况下,用于评价结果的参数不唯一,不同的准确评估结果不能方便的比较,或没有结果评价。在本研究中,首先对精度评估进行了全面分析,方便寻找到针对建筑轮廓提取方法的通用比较方案。基于区域的精度评估由于其稳健性、可预测性和不同数据集之间的可比性被认为是最合适的方案。在该基础上补充基于分类建筑物的基于对象的精度评估,可详细描述建筑物提起结果。如果该区域有高质量的基准数据(如低空航空影像),建筑物提取的绝对精度也是可以评估的。
geosciences, multidisciplinary,geography, physical,remote sensing,imaging science & photographic technology