多細節(jié)層次的三維城市模型是數(shù)字城市和智慧社會的關(guān)鍵空間數(shù)據(jù)基礎(chǔ)設(shè)施，從基于稀疏點線特征的交互式半自動化建模到基于密集點云的自動化智能化建模已經(jīng)成為國際學術(shù)界和工業(yè)界的熱點前沿。由于立體城市空間結(jié)構(gòu)的復(fù)雜性，多類型、多站點和多時相的點云數(shù)據(jù)融合處理是三維城市建模的基本途徑，其基本思想是將具有不同視角、密度、精度、尺度、細節(jié)、時間歷元等特征的多點云數(shù)據(jù)進行一致性融合表達與集成處理，建立可直接面向計算分析的智能化表達的多點云模型。歸納總結(jié)了多點云數(shù)據(jù)的主要特點，針對時空基準與精度、尺度、語義3個層面的一致性處理，分析了多點云數(shù)據(jù)融合的主要發(fā)展趨勢，并凝練了面向三維城市建模的多點云數(shù)據(jù)融合關(guān)鍵問題。

多細節(jié)層次的三維城市模型是數(shù)字城市和智慧社會的關(guān)鍵空間數(shù)據(jù)基礎(chǔ)設(shè)施[1]?，F(xiàn)有的精細化三維城市建模 技術(shù)主要有基于多種數(shù)據(jù)源(計算機輔助設(shè)計(computer aided design，CAD)、建筑物信息建模(building information modeling，BIM)、地圖等)的人工交互建模和基于影像或激光掃描密集點云的半自動化建模兩大類。人工交互建模利用稀疏點線特征幾何約束，需要大量人工交互式操作, 導(dǎo)致作業(yè)周期長、效率低，且模型質(zhì)量難以保證, 特別是紋理偏差大?；诿芗c云的半自動化建模已成為大范圍三維城市建模的主要方式。由于立體城市空間結(jié)構(gòu)復(fù)雜，高大建筑相互遮擋，且建筑物屋頂和立面形狀結(jié)構(gòu)多樣，道路、植被、人工設(shè)施等地上下立體空間場景對象種類繁多，形態(tài)各異，單一類型與單一站點的點云數(shù)據(jù)普遍存在數(shù)據(jù)漏洞、描述尺度單一、結(jié)構(gòu)細節(jié)丟失等局限性[2]，難以表達目標完整豐富的細節(jié)特征[3]。隨著“消費級”激光掃描設(shè)備、影像密集匹配技術(shù)以及深度相機等新型數(shù)據(jù)獲取技術(shù)日新月異，點云數(shù)據(jù)獲取手段更為豐富，且難度與成本降低，類型、視角、屬性和內(nèi)涵信息更為豐富的點云數(shù)據(jù)日益可得[4]。因此，多點云數(shù)據(jù)融合處理成為三維城市建模的主要途徑，并成為國際學術(shù)界和工業(yè)界的熱點前沿。

多點云數(shù)據(jù)指多類型、多站點和多時相的點云數(shù)據(jù)。激光掃描、影像匹配、深度圖像測量、干涉雷達測量和野外實地測量等方法提供了具有不同數(shù)據(jù)屬性和信息內(nèi)涵的多類型點云[5]。這些不同類型的點云還可以從空中、地面、室內(nèi)等不同站點獲取，具有多樣化的視角和尺度特征[6]。此外，不同時間歷元采集的多時相點云融合可反映對象的變化屬性和趨勢。多點云融合的前提是明確不同點云的優(yōu)勢信息和互補需求。如影像匹配點云密度高且富含邊緣特征信息，但具有大量的拓撲噪聲，且只能獲取表面覆蓋數(shù)據(jù)，連片林地的地形常存在漏洞;空、地不同站點的激光掃描點云在效率、精度、結(jié)構(gòu)細節(jié)信息的采集方面也各有優(yōu)缺點(如表 1所示)。根據(jù)多點云數(shù)據(jù)具有的不同視角、密度、精度、尺度、細節(jié)、語義等特征進行一致性處理是一項復(fù)雜的系統(tǒng)性工作，是后續(xù)多細節(jié)層次精細三維建模的關(guān)鍵基礎(chǔ)。通過消減不同點云間的空間基準、尺度和語義表達等不一致性，如空間位置、結(jié)構(gòu)語義、拓撲關(guān)系的沖突，以達到數(shù)據(jù)準確、冗余最少[7-8]，實現(xiàn)多點云數(shù)據(jù)的優(yōu)勢信息融合表達。

表 1 多點云特征

多點云數(shù)據(jù)的融合處理方法可歸納為時空基準及精度、尺度、語義3個層面的一致性處理。時空基準與精度一致性處理旨在建立整個場景統(tǒng)一的點云模型，尺度一致性處理則為了削減不同密度和精度的點云對同一目標表達的尺度差異，語義一致性處理旨在綜合利用不同點云對同一目標不同細節(jié)特征的表達。通過這3個層面的一致性處理, 即可得到最初級的多點云融合模型，可滿足進一步精細化三維城市建模與智能化分析等深度應(yīng)用需求[9]。

本文從時空基準與精度、尺度、語義3個方面歸納了多點云數(shù)據(jù)的特點和融合處理的主要發(fā)展趨勢，凝練了面臨的主要技術(shù)難題，如圖 1所示。

圖 1 多點云數(shù)據(jù)融合技術(shù)框架

1 多點云時空基準與精度一致性處理方法

多點云的融合反映了由單源到多源、由少到多、由簡單到復(fù)雜的趨勢，這種融合的第一步是理解和描述不同數(shù)據(jù)源間的復(fù)雜關(guān)系和相互轉(zhuǎn)換規(guī)律[10]，實現(xiàn)時空基準與精度的一致性，建立整個場景統(tǒng)一的點云模型，彌補單一點云數(shù)據(jù)空洞，并增強尺度和語義信息，實現(xiàn)整個場景對象的無縫表達。

多點云從采集單元轉(zhuǎn)換到絕對地理坐標系采用了不同的方法和輔助數(shù)據(jù)。機載和車載移動激光掃描系統(tǒng)都配備了GPS/IMU(global positioning system/inertial measurement unit)組合慣性導(dǎo)航模塊，根據(jù)耦合計算得到的軌跡數(shù)據(jù)進行絕對地理坐標系的糾正，理想情況下，獲取的點云精度在5~15 cm左右[11]。地面激光掃描常利用掃描場景內(nèi)已知坐標的靶標球進行多站點拼接和絕對地理坐標糾正[12-13，得到的整個場景數(shù)據(jù)精度可達3 cm以內(nèi)。影像匹配點云利用像控點進行立體恢復(fù)，并實現(xiàn)絕對地理坐標的糾正，但由于遮擋、視差斷裂、紋理缺失及光照條件不一致等, 制約了影像密集匹配中關(guān)鍵特征點的可靠檢測[14-15]，常存在大量的幾何和拓撲噪聲[16]。由于像控點、靶標球、GPS/IMU慣導(dǎo)數(shù)據(jù)等輔助數(shù)據(jù)的采集質(zhì)量不一，對多點云融合精度產(chǎn)生直接影響[17]，因此多點云數(shù)據(jù)需要進行點云精確配準。

點云配準是計算不同點云集合間空間幾何的關(guān)系精準映射，求取坐標轉(zhuǎn)換參數(shù)，將待轉(zhuǎn)換數(shù)據(jù)集進行剛體變換的過程?，F(xiàn)階段點云配準最廣泛的方案是基于局部特征匹配初值的迭代最近點(iterative closest point，ICP)算法[18-19]。ICP算法是一種全局配準的迭代算法，可以獲得很高的配準精度，但需要初始粗配準以避免陷入局部最優(yōu)解。利用點-線等局部特征識別和匹配可得到七參數(shù)或四元數(shù)構(gòu)建的點云旋轉(zhuǎn)矩陣實現(xiàn)多點云融合[20]，且可以為ICP算法提供初值以獲取更高的配準精度，如圖 2所示。

圖 2 基于特征的多點云數(shù)據(jù)配準流程

基于局部特征的點云配準可按照點、線、面3種特征基元進行分類[21]，需要特征提取、同名特征識別、轉(zhuǎn)換參數(shù)的求取和應(yīng)用3個步驟。在面向城市三維建模的點云配準任務(wù)，普遍的方法是運用多種三維點云描述符如快速點特征直方圖(fast point feature histograms，F(xiàn)PFH)[22]等提取特征，或識別建筑物邊緣的幾何特征點和特征線[23]，這是由于建筑邊緣的幾何特征通常滿足穩(wěn)定性和特異性[24]。局部特征的提取及其相關(guān)的點云索引方法、法向量計算等是研究人員的熱點研究內(nèi)容[25]，利用點到線、點到面的關(guān)系[26]，提取特征曲線[27]、建筑面[28]作為特征, 也為基于特征的配準方法提供了更好的適用性和靈活性。

但是，識別和匹配幾何特征仍然面臨3個瓶頸:①在城市周邊建筑稀疏或非人工建成區(qū)的幾何自然特征提取較難[29]，可采用地面作為特征基元進行配準[30-31];②基于特征向量提取的幾何特征冗余性強，且由于精度和尺度差異影響，普遍導(dǎo)致一對多、多對多、空匹配的相似性度量結(jié)果，需要利用概率松弛約束匹配特征線等方法解決[18,32];③多時相點云的變化信息會干擾相同幾何特征的識別和提取。

因此，利用場景語義信息提取準確的對應(yīng)語義特征成為了新的趨勢, 比如試圖利用建筑物的頂面邊界線[33-34]、構(gòu)筑物中心軸線[35]、建筑物的垂直、相交[36]、腳點[37]等實現(xiàn)精確的點云配準。

當然，除了ICP算法外, 還有其他優(yōu)秀方法可用于多點云配準。

基于點云自身關(guān)系的4PCS(4-points congruent sets)[28]及其改進super4PCS[38]算法，通過智能索引進行全局配準，及基于遺傳算法(genetic algorithm，GA)的全局搜索策略多點云配準方法，不需要初始粗配準輔助即可在定義的搜索空間中找到最優(yōu)解[39]，且可用于自由曲面的匹配[40]，在3D醫(yī)療點云的配準[41]、地面多站點點云配準[17]方面得到了成功應(yīng)用。

2 多點云尺度一致性處理方法

不同點云密度和細節(jié)分辨率的多點云數(shù)據(jù)對同一目標表達具有顯著的尺度差異?？罩姓军c多面向條帶狀和面狀大場景范圍的數(shù)據(jù)采集任務(wù)，是有效的大尺度場景DSM(digital surface model)、建筑群落屋頂結(jié)構(gòu)[34,42]、植被冠層數(shù)據(jù)的采集手段[43]。其中，機載激光點云均勻且較為稀疏，較長的測程(通常為500~3 000 m)會產(chǎn)生激光束散射現(xiàn)象，對對象細節(jié)信息采集有一定程度的損失[35]，通常只能區(qū)分對象整體(如一棟建筑);影像逐像素密集匹配點云的密度取決于影像分辨率，通常每m2范圍大于200點[44]的高密度有利于對象單個平面的分割和識別，但其中點云的噪聲和對象的細節(jié)(如建筑外立面復(fù)雜的細節(jié)結(jié)構(gòu))甄別困難，影像匹配點云密集的優(yōu)勢需要提高去噪的魯棒性才能更好的發(fā)揮[45-46]。地面站點通常測程較近(不超過500 m)，具有更高的點云密度和更豐富的細節(jié)信息，可以對建筑立面、道路設(shè)施、附屬部件進行小尺度的精細數(shù)據(jù)采集[47]，分割識別精細的細節(jié)結(jié)構(gòu)[48]，是單體化建筑模型精細結(jié)構(gòu)語義的主要數(shù)據(jù)源。

經(jīng)過時空基準與精度的一致性處理，場景中的對象如建筑物會有多種尺度的點云數(shù)據(jù)重疊。比如空基俯視點云與地基側(cè)視點云，需要多點云數(shù)據(jù)尺度一致性的進一步處理，進行多尺度點云不確定性評價[49]，解決重疊點云的冗余和矛盾，以實現(xiàn)點云數(shù)據(jù)的高效利用[50]。

對于多點云重疊部分，依據(jù)細節(jié)豐富、精度最高的數(shù)據(jù)，對存在重復(fù)的其余數(shù)據(jù)進行清洗[8]或精度糾正。例如地基點點云替換或加密建筑物側(cè)面的空基點點云數(shù)據(jù)[51]，依據(jù)激光點云數(shù)據(jù)對影像匹配點云進行去噪[52]，利用加權(quán)局部最優(yōu)投影(weighted locally optimal projection，WLOP)算法等點云重采樣方法以及顧及邊緣信息的升采樣點云增強[53]在面向多尺度特征時有良好的適用性。此外，機載激光提取屋頂輪廓對車載點云的建筑立面精細分割[54]，結(jié)合建筑物相似性判斷進行建筑立面空洞修復(fù)[55]等類似的方法，是多點云數(shù)據(jù)進行點云增強的新嘗試。

基于格網(wǎng)尺寸大小變化等方法建立尺度變換模型對單一尺度點云特征提取、濾波數(shù)字高程模型(digital elevation model，DEM)生成、曲面重建等研究已經(jīng)廣泛的展開[56-59]。面對多點云本身具有的不同尺度特性，相應(yīng)數(shù)據(jù)處理需要新的方法。

此外，多點云的不同尺度特征可對應(yīng)三維城市建模多細節(jié)層次需求。按照開放地理空間信息聯(lián)盟(Open Geospatial Consortium，OGC)標準CityGML定義的建筑物多細節(jié)層次(levels of detail, LOD)標準[60]，三維城市模型從最初級細節(jié)層次LOD0的DEM、DSM等產(chǎn)品，到最高級層次LOD4的室內(nèi)外一體化精細化模型，需要依據(jù)可視化和分析需要進行多細節(jié)層次模型構(gòu)建。尺度一致性融合的多點云數(shù)據(jù)，針對多細節(jié)層次三維建模需求，形成按需提取的多尺度層級點云管理和組織方法[61-62]，有效支撐精細化三維模型的自動建模[63]。

3 多點云語義一致性處理方法

散亂的點云本身不具有語義信息，三維重建需根據(jù)點云數(shù)據(jù)含有的空間坐標(X，Y，Z)和其他屬性(如強度、色彩)進行語義理解，識別結(jié)構(gòu)化語義(幾何、拓撲結(jié)構(gòu)，如墻角、窗邊、邊面等)和分類信息(植被、建筑、路燈等)。語義賦予了點云類的屬性，是進一步進行分析應(yīng)用的基礎(chǔ)?？梢?，經(jīng)過時空基準和尺度融合的多點云，需要多種方法提取與理解不同點云對同一目標不同細節(jié)特征的語義內(nèi)涵，并進行統(tǒng)一的語義標識[64]。

多點云數(shù)據(jù)的采集原理、信息內(nèi)涵以及語義理解方式的不同，都導(dǎo)致其具有顯著的語義差異。

激光掃描點云來自主動式遙感，除空間三維坐標外，還包含具有層次感的強度信息。以被動式遙感方法獲取的影像匹配點云具有對應(yīng)影像像元的顏色信息。強度和色彩可從不同方面給點云的分類識別和語義理解提供輔助。

激光掃描點云采樣均勻，在結(jié)構(gòu)化特征反應(yīng)上并無指向性。影像匹配點云在此處具有優(yōu)勢。由于匹配策略往往基于特征，因此在對象的線特征、邊緣處點密度較高[65]。

激光雷達優(yōu)勢在于其多目標能力，可穿透植被冠層獲取地面數(shù)據(jù)。影像匹配點云則只能獲取對象表面覆蓋，容易受到草、低矮灌木、屋頂附屬物的影響。

激光掃描點云的強度信息和多目標能力、影像匹配點云的色彩信息和特征處點密度更高的特性，賦予了多點云屬性顯著差異特點，從而對多點云數(shù)據(jù)的類信息提取需要不同的處理方案?？盏囟嗥脚_的多尺度特性則會影響點云類信息識別的精細程度。融合的多點云數(shù)據(jù)可為改進三維場景數(shù)據(jù)的完整性、密度、地理參考質(zhì)量、精度、可靠性及點云數(shù)據(jù)處理奠定良好基礎(chǔ)[52]。

對于同一對象的不同點云來源，包含有不同的語義信息，需要不同方法提取和理解。現(xiàn)有的點云分類主要可分為基于點和基于對象兩大類[66-67]?；邳c的分類通常以球體或圓柱體定義點的鄰域，提取點特征后使用監(jiān)督或非監(jiān)督分類器，因此這類方法集中于特征和分類器的選擇。基于對象的分類與前者相比，增加了一個點集群形成點簇的過程，將齊次點進行集成以便于每個點簇對應(yīng)至對象的某個組件，如門面或屋頂，再利用概率分布函數(shù)[68]、支持向量機[69]、馬爾科夫隨機場模型[66]等算法進行分類。近年來，利用機器學習進行分類和語義標注的方法也開始涌現(xiàn)，處理對象分類、部分分割到場景語義解析的PointNET[70]，利用上下文信息和概率推理，對點云進行整體預(yù)測并分類的ScanComplete[71]等，這得益于計算機視覺領(lǐng)域的研究快速發(fā)展[72]。

將分類結(jié)果進行互操作，相互對比、修正與賦值等一致性同化，建立統(tǒng)一的語義標識，實現(xiàn)多點云語義信息的綜合理解[73]。此時，同一對象會存在不同精細程度的語義標識信息，保留最精細語義而剔除其他屬性會造成信息的丟失，因此建立多粒度的語義標識是有效方案，如圖 3所示。

圖 3 多粒度語義統(tǒng)一標識示意圖

統(tǒng)一的語義標識可實現(xiàn)多點云數(shù)據(jù)理解層面的一致。三個層次的一致性處理數(shù)據(jù)可支持智能化分析，滿足從淺層的描述到深層的計算、量測和分析，直接滿足智慧城市管理和智能決策的需要，比如基于時空一致的多點云模型不僅可以自動提取單體化對象并進行多細節(jié)層次的三維重建，還能檢測變化、診斷異常等。

4 多點云融合存在的關(guān)鍵問題及發(fā)展趨勢

1) 多點云融合將面對更為復(fù)雜多樣的點云數(shù)據(jù)源。點云數(shù)據(jù)獲取裝備正從“專業(yè)級”向“消費級”快速發(fā)展，輕小型無人機平臺和車載平臺激光掃描設(shè)備開啟了點云數(shù)據(jù)采集的眾包模式，更為參差不齊的基準、精度、尺度和語義差別，需要新的點云數(shù)據(jù)管理、清洗、約束、融合方法。室內(nèi)環(huán)境下深度相機和紅外相機等新型傳感器的應(yīng)用，加速了室內(nèi)外、地上下一體化的多點云融合發(fā)展，使得LOD4層級的三維城市全息模型快速獲得成為可能。

2) 面向自動化三維城市建模和動態(tài)更新的多點云數(shù)據(jù)按需抽取。現(xiàn)有的三維城市建模方法大多采用有限的假設(shè)和幾何約束，需要人工交互且不適用于現(xiàn)實場景中所有復(fù)雜的對象。最近的研究[74]顯示了語義信息對復(fù)雜三維城市重建的重要性。一致性處理后的多點云數(shù)據(jù)是自動化多LOD層級三維城市建模的必要條件[75]，統(tǒng)一的語義信息標識可引導(dǎo)多點云數(shù)據(jù)的按需抽取，適應(yīng)和感知用戶及環(huán)境變化，給三維城市模型的動態(tài)更新提供新的機會。

3) 機器學習技術(shù)的應(yīng)用。使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)架構(gòu)的深度學習是解決圖像分類任務(wù)的標準解決辦法，由于點云是不規(guī)則和無序的，將深度學習應(yīng)用于點云的提取、分類識別較為困難，相關(guān)的探索，如PointNet[70]、PointCNN[76]等方法已將點云數(shù)據(jù)作為訓(xùn)練樣本，模擬生物視覺認知方式進行了點云分類[77]。進一步地，多點云數(shù)據(jù)的一致性提取問題將在人工智能、機器學習等先進技術(shù)的驅(qū)動下向自動化、智能化方向快速發(fā)展，將更好地服務(wù)于復(fù)雜地理空間對象的認知、識別、分析和知識化服務(wù)。

5 結(jié)語

多點云融合已經(jīng)應(yīng)用于建筑物、道路、植被、地形等典型對象的三維重建。隨著智慧城市建設(shè)的深入發(fā)展，紅外、合成孔徑雷達干涉測量(interferometric synthetic aperture radar，InSAR)、深度圖像等新型點云數(shù)據(jù)的引入, 面對室內(nèi)外、地上下一體化的全要素多細節(jié)層次的三維城市建模需求，自動化、智能化的多點云融合處理仍然是挑戰(zhàn)性的難題。