True orthophoto generation using line segment matches

Qiang Wang,Lei Yan,Yanbiao Sun,Ximin Cui,Hugh Mortimer,Yanyan Li

DOI: https://doi.org/10.1111/phor.12229

2018-01-01

Abstract:When generating a true orthophoto from aerial urban scenes, especially those containing man-made features with large height differences, sawtooth effects in feature edges can occur in the rectified images. Aiming to eliminate such effects, this study proposes an advanced orthorectification method using line segment matches, allowing 3D building edges to be accurately reconstructed. The corresponding 2D line segments are first extracted and matched, enabling the reconstruction of 3D line segments by joining two planes and imposing a line end-point constraint. The 3D line segments are then dissected into discrete 3D points to be incorporated into the 3D point cloud obtained by a dense matching algorithm. Finally, a more complete and accurate triangulated irregular network (TIN) model can be constructed to provide important basic data for true orthophoto production. Experimental results show that sawtooth effects can be eliminated, resulting in significantly improved quality in the true orthophotograph. Resume Lors de la creation d'une orthophotographie vraie a partir de scenes aeriennes urbaines, notamment en presence d'objets artificiels presentant de grandes differences de hauteur, des effets en dents de scie peuvent se produire sur les bords des objets dans les images rectifiees. Afin d'eliminer ces effets, cette etude propose une methode avancee d'orthorectification basee sur l'appariement de segments de droites, ce qui permet de reconstruire precisement en 3D des bordures de batiments. Les segments 2D homologues sont d'abord extraits et apparies, ce qui permet de reconstruire les segments 3D en intersectant 2 plans et en imposant la position des extremites. Des lignes de points 3D discrets sont ensuite construites le long des segments 3D pour alimenter le nuage de points obtenu par un algorithme de correlation dense. Ainsi, un modele constitue d'un reseau irregulier de triangles (TIN) plus complet et plus precis peut etre construit pour fournir les donnees necessaires a la construction de l'orthophotographie vraie. Les resultats experimentaux montrent que les effets en dents de scie peuvent etre elimines, donnant lieu a des orthophotographies vraies d'une qualite nettement meilleure. Zusammenfassung Bei der Erstellung von wahren Orthophotos aus Luftbildszenen einer Stadt konnen insbesondere bei kunstlichen Objekten mit gro ss en Hohendifferenzen sagezahnartige Effekte der Begrenzungslinien der Objekte in den entzerrten Bildern auftreten. Um diese Effekte zu verringern, wird in dieser Studie eine erweiterte Methode zur Ortho-Rektifizierung auf der Basis von Liniensegmentzuordnungen vorgeschlagen, die es erlaubt, 3D Gebaudekanten exakt zu rekonstruieren. Korrespondierende 2D Liniensegmente werden extrahiert und zugeordnet womit eine Rekonstruktion der Liniensegmente in 3D durch die Zusammenfugen zweier Ebenen und die Einfuhrung einer Linien-Endpunktbedingung erfolgt. Die 3D Liniensegmente werden dann in diskrete 3D Punkte zerlegt und in die 3D Punktwolke aus dichter Bildzuordnung eingebaut. Daraus kann eine komplettes und genaues TIN (Triangulated Irregular Network) Modell als Basis fur die Produktion des wahren Orthophotos generiert werden. Die Experimente zeigen, dass die Sagezahleffekte eliminiert werden konnen und damit eine deutlich bessere Qualitat der wahren Orthophotos erreicht werden kann. Resumen En la generacion de una ortofotografia verdadera a partir de imagenes aereas urbanas, especialmente en aquellas que contienen grandes diferencias en altura por los objetos que se han captado, en las imagenes rectificadas pueden aparecer artefactos de diente de sierra en las aristas de dichos objetos. Con el objetivo de eliminar estos artefactos, se propone un metodo de ortorrectificacion utilizando la correspondencia de elementos lineales, lo que permite reconstruir con precision las aristas de construcciones en 3D. Realizada la extraccion y correspondencia de segmentos lineales 2D se procede a la reconstruccion de segmentos de lineales 3D uniendo dos planos e imponiendo una restriccion de punto extremo de linea. Los segmentos lineales 3D se muestrean en puntos 3D para ser incorporados a la nube de puntos 3D obtenida por un algoritmo de correspondencia densa. Finalmente, se construye una red de triangulos irregulares (TIN) mas completa y precisa proporcionando datos basicos para la produccion de ortofotografia verdadera. Los resultados experimentales muestran que los artefactos de diente de sierra pueden ser eliminados, resultando en una mejor calidad en la ortofotografia verdadera. ?? ???????????????????????, ????????????????, ??????????????????????????????, ??????????????????, ?????????? 3D ??????????????? 2D ??, ?????????????????????? 3D ?????, ? 3D ????????? 3D ?, ???????????????? 3D ?????, ???????????????????? (TIN) ??, ??????????????????????????, ???????, ????????????????????????