Efficient Procedural Modelling of Building Façades Based on Windows from Sketches

Han Hu,Bo Feng,Bo Xu,Qing Zhu,Xuming Ge,Min Chen

DOI: https://doi.org/10.1111/phor.12425

2022-09-11

The Photogrammetric Record

Abstract:The paper entitled "Efficient Procedural Modelling of Building Façades Based on Windows from Sketches", by Han Hu et al., proposed a two‐stage network for complex‐shaped window modelling. With a rough sketch of the target window, the method can quickly identify the window type with the classification network and estimate the grammar parameters by the regression network, and eventually producing detailed 3D models with textures. Realistic and delicate window models are in great demand for detailed LOD‐3 urban reconstruction. However, current research tends to oversimplify the window models due to the difficulties in describing the complex window types and structure parameters. This work proposes a sketch‐based window reconstruction method for procedural façade modelling. With a rough sketch of the target windows, the method can quickly identify the window type and estimate the grammar parameters, eventually producing detailed 3D models with textures. The whole task is adopted within two neural networks: the classification network to judge the grammar category and the regression network to estimate the parameter value. The non‐photorealistic rendering technology adopted in the present work can generate abundant training datasets, and meanwhile, the attention mechanism is used to identify the grammar parameters precisely. Experimental results on various data verify the effectiveness and accuracy of the proposed approach. Résumé Les modèles de fenêtres réalistes et soignés sont très demandés pour la reconstruction urbaine détaillée au niveau LOD‐3. Cependant, les recherches actuelles ont tendance à simplifier à l'extrême les modèles de fenêtres en raison des difficultés à décrire les types de fenêtres et les paramètres de structure complexes. Ce travail propose une méthode de reconstruction de fenêtres basée sur les croquis pour la modélisation procédurale de façades. À partir d'un croquis grossier des fenêtres cibles, la méthode peut rapidement identifier le type de fenêtre et estimer les paramètres de grammaire, pour finalement produire des modèles 3D détaillés avec des textures. L'ensemble de la procédure est mis en œuvre avec deux réseaux neuronaux : le réseau de classification pour juger de la catégorie de grammaire et le réseau de régression pour estimer la valeur du paramètre. La technologie de rendu non‐photoréaliste adoptée dans notre travail peut générer d'abondants ensembles de données d ́apprentissage, cependant que le mécanisme d'attention est utilisé pour identifier précisément les paramètres de la grammaire. Les résultats expérimentaux sur diverses données confirment l'efficacité et la précision de l'approche proposée. Zusammenfassung Realistische und delikate Fenstermodelle sind für die detaillierte LOD‐3‐Stadtrekonstruktion sehr gefragt. Aktuelle Forschungen neigen jedoch dazu, die Fenstermodelle aufgrund der Schwierigkeiten bei der Beschreibung der komplexen Fenstertypen und Strukturparameter zu stark zu vereinfachen. Diese Arbeit schlägt eine skizzenbasierte Fensterrekonstruktionsmethode für die prozedurale Fassadenmodellierung vor. Mit einer groben Skizze der Zielfenster kann das Verfahren schnell den Fenstertyp identifizieren und die Grammatikparameter schätzen, um schließlich detaillierte 3D‐Modelle mit Texturen zu erzeugen. Die gesamte Aufgabe wird in zwei neuronalen Netzen übernommen: dem Klassifikationsnetz zur Beurteilung der Grammatikkategorie und dem Regressionsnetz zur Schätzung des Parameterwerts. Die nicht‐fotorealistische Rendering‐Technologie, die in unserer Arbeit verwendet wird, kann reichlich Trainingsdatensätze generieren, und der Aufmerksamkeitsmechanismus wird in der Zwischenzeit verwendet, um die Grammatikparameter genau zu identifizieren. Experimentelle Ergebnisse zu verschiedenen Daten bestätigen die Wirksamkeit und Genauigkeit des vorgeschlagenen Ansatzes. Resumen Los modelos de ventanas realistas y delicados tienen una gran demanda para la reconstrucción urbana detallada LOD‐3. Sin embargo, las investigaciones actuales tienden a simplificar en exceso los modelos de ventanas debido a las dificultades para describir los complejos tipos de ventanas y los parámetros de la estructura. Este trabajo propone un método de reconstrucción de ventanas basado en bocetos para el modelado de fachadas. Con un boceto de las ventanas objetivo, el método puede identificar rápidamente el tipo de ventana y estimar los parámetros gramaticales, produciendo finalmente modelos 3D detallados con texturas. Toda la tarea se adopta dentro de dos redes neuronales: la red de clasificación para juzgar la categoría gramatical y la red de regresión para estimar el valor del parámetro. La tecnología de renderizado no fotorrealista adoptada en nuestro trabajo puede generar abundantes conjuntos de datos de entrenamiento y, mientras tanto, el mecanismo de atención se utiliza para identificar los parámetros de la gramática con precisión. Los resultados -Abstract Truncated-

geosciences, multidisciplinary,geography, physical,remote sensing,imaging science & photographic technology