An Improved Multi‐Task Pointwise Network for Segmentation of Building Roofs in Airborne Laser Scanning Point Clouds
Chaoquan Zhang,Hongchao Fan
DOI: https://doi.org/10.1111/phor.12420
2022-07-17
The Photogrammetric Record
Abstract:Zhang et al. propose an improved multi‐task pointwise network to simultaneously segment instances (that is, individual roof planes) and semantics (that is, groups of roof planes with similar geometric shapes) in point clouds. A new roof data‐set (called RoofNTNU) is established by taking standard airborne laser scanning (ALS) point clouds as training data for automatic and more general segmentation. Experiments on the RoofNTNU data‐set show that the proposed method achieves promising results on both instance and semantic segmentation tasks. Roof plane segmentation is an essential step in the process of 3D building reconstruction from airborne laser scanning (ALS) point clouds. The existing approaches either rely on human intervention to select the appropriate input parameters for different data‐sets or they are not automatic and efficient. To tackle these issues, an improved multi‐task pointwise network is proposed to simultaneously segment instances (that is, individual roof planes) and semantics (that is, groups of roof planes with similar geometric shapes) in point clouds. PointNet++ is used as a backbone network to extract robust features in the first step. The features from semantics branch are then added to the instance branch to facilitate the learning of instance embeddings. After that, a feature fusion module is added to the semantics branch to acquire more discriminative features from the backbone network. To increase the accuracy of semantic predictions, fused semantic features of the points belonging to the same instance are aggregated together. Finally, a mean‐shift clustering algorithm is employed on instance embeddings to produce the instance predictions. Furthermore, a new roof data‐set (called RoofNTNU) is established by taking ALS point clouds as training data for automatic and more general segmentation. Experiments on the new roof data‐set show that the method achieves promising segmentation results: the mean precision (mPrec) of 96.2% for the instance segmentation task and mean accuracy (mAcc) of 94.4% for the semantic segmentation task. Résumé La segmentation de plans de toits est une étape essentielle dans le processus de reconstruction 3D de bâtiments à partir de nuages de points de laser aéroporté à balayage. Les approches existantes s ́appuient sur une intervention humaine pour sélectionner les paramètres d'entrée appropriés pour différents jeux de données, ou bien elles ne sont pas automatiques ni efficaces. Pour résoudre ces problèmes, un système multitâche est proposé pour segmenter simultanément les objets (c'est‐à‐dire les plans de toits individuels) et leur sémantique (c'est‐à‐dire les groupes de plans de toits ayant des formes géométriques similaires) dans les nuages de points. PointNet++ est utilisé comme système de base pour extraire des caractéristiques robustes dans la première étape. Ensuite, les caractéristiques issues de la branche sémantique sont ajoutées à la branche objets pour l'apprentissage de l'intégration d ́objets. Un module de fusion de caractéristiques est ensuite ajouté à la branche sémantique pour acquérir des caractéristiques plus discriminantes à partir du système de base. Afin d ́augmenter la précision des prédictions sémantiques, les caractéristiques sémantiques fusionnées des points appartenant au même objet sont fusionnées. Enfin, un algorithme de décalage moyen est appliqué aux fusions d ́objets pour produire les prédictions. En outre, nous avons créé un nouveau jeu de données de toits (appelé RoofNTNU) où les nuages de points laser servent de données d'entraînement pour produire une segmentation automatique et plus générale. Les expériences menées sur ce jeu de données montrent que notre méthode obtient des résultats de segmentation prometteurs : une précision moyenne de 96,2% pour la tâche de segmentation d ́objets et une exactitude moyenne de 94,4% pour la tâche de segmentation sémantique. Zusammenfassung Die Segmentierung der Dachebene ist ein wesentlicher Schritt im Prozess der 3D‐Gebäuderekonstruktion aus luftgestützten Laserscanning‐Punktwolken (ALS). Die bestehenden Ansätze verlassen sich entweder auf menschliches Eingreifen, um geeignete Eingabeparameter für verschiedene Datensätze auszuwählen, oder sie sind nicht automatisch und effizient. Um diese Probleme anzugehen, wird ein verbessertes punktweises Multitasking‐Netzwerk vorgeschlagen, um gleichzeitig Instanzen (d. h. einzelne Dachebenen) und Semantik (d. h. Gruppen von Dachebenen mit ähnlichen geometrischen Formen) in Punktwolken zu segmentieren. PointNet++ wird als Backbone‐Netzwerk verwendet, um im ersten Schritt robuste Merkmale zu extrahieren. Dann werden die Merkmale aus dem Semantikzweig dem Instanzzweig hinzugefügt, um das Lernen von Instanzeinbettungen zu erleichtern. Danach wird dem Semantikzweig ein Merkmalsfusionsmodul hinzugefügt, um diskriminierendere Merkmale aus dem Backbone‐Netzwerk zu erhalten. Um die Genauigkeit se -Abstract Truncated-
geosciences, multidisciplinary,geography, physical,remote sensing,imaging science & photographic technology