Lidar nokta bulutlarının semantik segmantasyonu için derin öğrenme tabanlı iyileştirilmiş poıntnet++ mimarisi
An improved deep learning based pointnet++ architecturefor semantic segmentation of lidar point clouds
- Tez No: 797806
- Danışmanlar: PROF. DR. FEVZİ KARSLI
- Tez Türü: Doktora
- Konular: Jeodezi ve Fotogrametri, Geodesy and Photogrammetry
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Karadeniz Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Harita Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışmada, hava LiDAR nokta bulutlarının semantik segmentasyonunda iç mekân nokta bulutları için tasarlanmış, nokta bulutlarını doğrudan işleyebilen ve bu alanda öncü bir 3B Derin Sinir Ağı (DNN) mimarisi olan PointNet++ kullanılmıştır. Öncelikli olarak PointNet++ mimarisi çoklu sınıf arazi örtüsü ve iki sınıflı zemin/zemin-üstü problemlerinin semantik segmentasyonu için büyük ölçekli hava LiDAR nokta bulutlarına uyarlanmıştır. Mimariyi değişken nokta yoğunluğuna karşı daha kararlı hale getirebilmek amacı ile mimarinin orijinal yığın toplama stratejisi yerine nokta yoğunluğuna adapte olabilen Adaptif 1 ve Adaptif 2 isminde iki yeni yaklaşım önerilmiştir. Ayrıca, mimarinin farklı gruplama katmanlarını birleştiren yeni bir hibrit model geliştirilerek işleme süresi ve performansı açısından avantaj ve dezavantajları değerlendirilmiştir. Tez kapsamında, komşuluk arama yarıçap seçimini başlangıç değer için otomatize edebilen bir yaklaşım da önerilmiştir. Bunların yanı sıra, yoğunluk, geri dönüş sayısı ve dönüş numarası gibi ek ham özniteliklerin mimarinin performansı üzerine olan etkileri de irdelenmiştir. Önerilen yaklaşımların semantik segmentasyon performansları ISPRS Vaihingen, DALES, düzensiz DALES ve OpenGF nokta bulutu veri setleri üzerinde araştırılmıştır. Özellikle nokta yoğunluğu değişkenliğinin fazla olduğu OpenGF test veri setleri üzerinde orijinal mimariye göre ağırlıklı ortalama kesişim-birleşim oranı (mIoU) metriği Adaptif 1 yaklaşımı ile %17'ye ve Adaptif 2 yaklaşımı ile %11'e varan iyileşme göstermiştir. Adaptif 1 ve Adaptif 2 yaklaşımları sayesinde düzensiz DALES veri seti üzerinde mIoU doğruluklarında sırası ile %1 ve %3 performans artışı sağlanmıştır. Adaptif 1 ve Adaptif 2 yaklaşımlarının genelleştirme kabiliyetleri test edilerek orijinal mimariye göre doğruluk düzeylerinde sırasıyla yaklaşık %3 ve %5 oranında iyileşme sağladığı tespit edilmiştir. Bu yaklaşımlar sayesinde mimarinin deneme yanılma yöntemi ile parametre seçimine olan ihtiyacı büyük oranda ortadan kaldırılmıştır. Mimari, değişken nokta yoğunluğuna ve parametre seçimine karşı daha kararlı bir hale getirilmiştir.
Özet (Çeviri)
PointNet++, a 3D Deep Neural Network (DNN) architecture that can directly process point clouds and is designed for indoor point clouds, is used for the semantic segmentation of Airborne Laser Scanning (ALS) point clouds. Initially, the PointNet++ architecture is adapted to large-scale airborne LiDAR point clouds for multi-class land cover and binary ground/non-ground semantic segmentation tasks. Two new approaches, called Adaptive 1 and Adaptive 2, are proposed to make the architecture more robust against varying point densities by adapting to point density instead of using the original bacthing strategy. Furthermore, a new hybrid model that combines different grouping layers of the architecture is developed and evaluated in terms of processing time and semantic segmentation performance. In addition, an approach is proposed to automate the selection of the initial value for the neighborhood search radius. Also, the effects of additional raw attributes such as intensity, return number and number of returns on the performance of the architecture are investigated. The semantic segmentation performances of the proposed approaches are evaluated on ISPRS Vaihingen, DALES, irregular DALES, and OpenGF point cloud datasets. Specifically, on the OpenGF test datasets with high point density variation, the architecture's weighted average Intersection over Union (mIoU) accuracy has improved by up to 17% with the Adaptive 1 approach and 11% with the Adaptive 2 approach. Adaptive 1 and Adaptive 2 approaches have achieved performance increases of 1% and 3% in mIoU accuracy on the irregular DALES dataset, respectively. The results show that the Adaptive 1 and Adaptive 2 approaches improve the generalization ability of the PointNet++ architecture for mIoU by approximately 3% and 5%, respectively. These proposed approaches significantly reduce the need for trial-and-error parameter selection while making the architecture more robust against both point sampling and parameter selection.
Benzer Tezler
- Enhancing UCAV operations with AI-driven point cloud semantic segmentation for precision gimbal targeting in defense industry
Savunma sanayiinde hassas gimbal hedefleme için yapay zeka tabanlı nokta bulutu semantik segmentasyon yaklaşımlarıyla S/İHA operasyonlarının iyileştirilmesi
SALİH BOZKURT
Doktora
İngilizce
2024
Savunma ve Savunma Teknolojileriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ZAİDE DURAN
- Investigation of artificial intelligence-based point cloud semantic segmentation
Yapay zeka tabanlı nokta bulutu semantik bölümlendirmesinin incelenmesi
MUHAMMED ENES ATİK
Doktora
İngilizce
2022
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ZAİDE DURAN
- Kültürel miras yapılarının sayısallaştırılması ve HBIM modeline dönüşümü
Digitization of cultural heritage buildings and their conversion into HBIM models
HANDAN AŞ ÇEMREK
Yüksek Lisans
Türkçe
2026
MimarlıkMimar Sinan Güzel Sanatlar ÜniversitesiEnformatik Ana Bilim Dalı
PROF. DR. ÜMİT IŞIKDAĞ
- Yeni Cami'nin akustik açıdan performans değerlendirmesi
Evaluation of the acoustical performance of the New Mosque
EVREN YILDIRIM
Yüksek Lisans
Türkçe
2003
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. SEVTAP YILMAZ DEMİRKALE
- Lidar nokta bulutlarının derin öğrenme ve makine öğrenmesi yöntemleri ile sınıflandırılması
Classification of lidar point clouds using deep learning and machine learning methods
NİSA KOBAN
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik MühendisliğiKaradeniz Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRAH BENLİ