Geri Dön

Adaptive shape from shading

Uyarlanır düzenleme yöntemiyle görüntü tonlarından şekil elde etme

  1. Tez No: 66388
  2. Yazar: ATİLLA GÜLTEKİN
  3. Danışmanlar: DOÇ. DR. MUHİTTİN GÖKMEN
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Görüntü, Şekil verme yöntemleri, Image, Shaping methods
  7. Yıl: 1997
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

ÖZET UYARLANIR DÜZLEME YÖNTEMİYLE GÖRÜNTÜ TONLARINDAN ŞEKİL ELDE ETME Bilgisayar görünün (Computer Vision) temel amaçlarından biri, objelerin iki boyutlu görüntülerinden, onların üç boyutlu yüzey özelliklerinin elde edil mesidir. Görüntü alma sırasında üç boyutlu objelerin iki boyutlu izdüşümleri elde edilmekte ve bu izdüşüm sırasında objeye ilişkin özelliklerden bir çoğu yitirilmektedir. Üçüncü boyuta ilişkin bilgileri elde etmek amacıyla, genellikle görüntüyü oluşturan benek (pixel) değerleri ile obje yüzeyi arasındaki ilişki kul lanılır ve bulunabilecek bir çok olası çözümü teke indirmek için, çözüm uzayı üzerinde bir takım sınırlamalar (constraints) konur. Görüntüdeki tonlamaların obje şekilleri hakkında taşıdığı bilgiler kullanılarak, obje şeklini bulmak için geliştirilen ve genellikle Tondan Şekil Bulma-TŞB (Shape from Shading-SFS) problemi olarak bilinen bu yaklaşımda, önce görüntü ile obje yüzeyleri ve ışık kaynakları arasındaki ilişki elde edilmekte ve daha sonra giriş resmine olabildi ğince yakın bir görüntü verecek obje yüzeyi, yani objenin şekli, belirlenmektedir [1, 2]. Tondan- şekil-bulma problemlerinde, obje yüzeyi ve ışık kaynağı ile görün tüyü oluşturan benek değerleri arasındaki ilişki Yansıtma Haritası (Reflectance Map) R(p, q) ile belirlenir. Burada, p ve q yüzey parametreleridir ve kurulacak z yüzeyinin kısmi türevlerini göstermek üzere dz dz P = Yx Ve q=dy (1) şeklinde ifade edilmektedir. Işık kaynağından gelen ışınların yüzey tarafından nasıl yansıtılacağı, o yü zeyin yansıtma özelliklerine bağlıdır. Değişik yüzeylerdeki ışık yansımalarını ifade etmek amacıyla çeşitli modeller geliştirilmiştir. Bu modellerin, teorik olarak en basiti ve pratikte olarak en çok kullanılanı Lambertian yansıtma mo delidir. Lambertian bir yüzeyin özelliği, üzerine gelen tüm ışığı yansıtması ve xıııyüzey parlaklığının bakış doğrultularından bağımsız olmasıdır. Lambertian bir yüzey için yansıtma haritası“, x cos <r - p sin a cos t - q sin a sin r._ İ?(P, ?) = 7*(2) y/l + p2 + ?2 şeklinde verilir. Burada, n (albedo) aydınlanma katsayısını gösteren bir sabit, a (slant) ve r (tüt) ise üç boyutlu resim uzayında ışık kaynağının konumunu belirleyen açılardır. Giriş resmindeki bir (x, y) noktasında ölçülen aydınlanma değeri I(x, y) ol mak üzere, aynı noktadaki yüzey parametreleri ile aydınlanma arasındaki ilişki, görüntü yansıtma denklemi (image irradiance equation) I(x,y) = R(p,q) (3) ile belirlenir. Bir yüzeyin parametreleri ve ışık kaynağının yeri verildiği taktir de, bu yüzeye ilişkin aydınlatılmış resim (3) bağıntısından elde edilebilir. Ancak tondan- şekil-bulma probleminde bunun tam tersi sözkonusudur, yani aydınlatıl mış resim verilmekte, yüzey parametrelerinin bulunması ve yüzeyin kurulması istenmektedir. Bu durumda sadece R(p, q) ifadesi ve giriş resmi, yüzeyin be lirlenmesinde yeterli olmamaktadır. Çünkü, görüntü yansıtma denkleminde iki bağımsız değişken, p ve q, vardır. Bu nedenle, yüzeyin elde edilmesinde yalnız başına (3) bağıntısı yeterli olmamaktadır ve sonsuz sayıda çözüm elde etmek mümkündür. Bilgisayarla görüde karşılaşılan bu tür problemlere kötü konum lu (ül-posed) problemler denir. Düzgünleştirme kuramı (regularization theory), bu tür kötü konumlu problemleri iyi konumlu (well-posed) problemler şekline dönüştürüp çözmeye yarayan yöntemdir ve bilgisayarla görüde yaygın olarak kullanılır. Düzgünleştirme ayrıca çözüm üzerinde düzlük gibi bazı sınırlamalar koymaya olanak sağlar. TŞB problemlerinde kullanılan sınırlamalar aşağıda kısaca özetlenmiştir: Aydınlanma sınırlaması (brightness constraint), görüntü yansıtma denkle minin bir sınırlama şeklinde ifade edilmesi sonucu elde edilmiştir ve özgün gö rüntü ile TŞB 'den bulunan görüntü arasında // (I(x,y)-R(p,q)fdxdy (4) olarak tanımlanan hatanın enaza indirgenmesi şeklinde ifade edilir, ilave ko şullar olmaksızın, sadece aydınlanma sınırlaması kullanılarak, problemin tek çözümünün bulunması olası değildir. Bu nedenle ek sınırlamalara gereksinim vardır. Düzlük sınırlaması (smoothness constraint), ardışıl TŞB yönteminde, prob lemin tek çözümlü olmasını sağlamak amacıyla, kurulacak yüzeyin düz olması şartını sağlamak için xıvin JJ(pI + p2y + q2x + q2y) dx dy (5) mm v ifadesi kullanılır. Burada px, py, qx ve qy yüzey parametrelerinin kısmi türev lerini göstermektedir. Integralin alınabilmesi sınırlaması (integrability constraint) in / j({zx-pf + (zy - q)2) dx dy (6) mm p bağıntısı ile tanımlanır. Burada zx ve zy, yüzeyin kısmi türevlerini göstermek tedir. Bu sınırlama, TBŞ yöntemiyle elde edilen yüzey parametreleri (p, ç)'nun fiziksel olarak anlamlı bir yüzeye karşı gelmesini sağlamak amacıyla kullanıl maktadır. Türev farkları sınırlaması (intensity gradient constraint), TŞB'den elde edi len resmin kısmi türevlerinin, giriş resminin kısmi türevlerine yakın olması ko şulunu sağlamak amacıyla kullanılır. Ix ve Iy giriş resminin kısmi türevleri ve Rx ve Ry ise algoritmadan elde edilen resmin kısmi türevlerini göstermek üzere, bu sınırlama min f f((Rx - Ixf + (Ry - Iy)2) dx dy (7) şeklinde tanımlanır. Çeşitli kısıtlamaları en iyi sağlayan z yüzeyinin bulunması amacıyla kulla nılabilecek bir sayısal yöntemde aşağıdaki adımlar izlenir: 1. Aranan çözüm z ile ideal çözüm arasındaki hatayı ifade etmek için bir F fonksiyonu seçilir ve bu fonksiyonun fi görüntü uzaymdaki integralini, I{x,y) = F(x,y,z,...)dx J Jq dy enaza indirgeyen z bulunmaya çalışılır. 2. F fonksiyonuna, z'nin 0 üzerinde sağlaması istenen sınırlamalar konulur. 3. Problemin tek çözümü yoksa, X ifadesine uygun bir düzeltme terimi ilave edilir. 4. z yüzeyinin sağladığı ve X fonksiyonelini enaza indiren Euler eşitlikleri belirlenir. 5. Tek çözüm elde edebilmek için sınır koşullarının neler olması gerektiği belirlenir. XV6. Sınırlı değişimler (finite difference) yöntemi kullanılarak Euler eşitlikleri için ayrık domende bir yaklaşıklık bulunur. 7. Euler eşitliklerinin ayrık çözümüne yakınsayan bir sayısal yöntem bulu nur. Tezin ilk bölümünde, bilgisayar görü problemleri genel olarak tanıtılmıştır. Bu problemlerden birisi olan ve giriş resmindeki tonlamalardan yararlanarak re simdeki objenin yüzey özelliklerinin bulunmasını sağlayan tondan-şekil-bulma probleminden genel olarak bahsedilmiştir. Literatürdeki temel TŞB yöntemleri incelenmiş ve bu yöntemler kısaca karşılaştırılmıştır. ikinci bölümde, yüzeyin fiziksel özellikleri tarafından belirlenen yansıtma modelleri ve Tondan Kaynak Yerini Bulma (Source from Shading) tekniği in celenmiştir. Işık kaynağının yerinin belirlenmesi probleminde, giriş resminde ki aydınlanma bilgisi kullanılarak, ışık kaynağının konumunu 3-Boyutlu resim uzayında belirleyen açıların, (er, t), bulunmasına çalışılmaktadır. Bu amaçla, Pentland [3], Lee ve Rosenfeld [4] ve Zheng ve Chellappa [5] tarafından ge liştirilen üç yöntem incelenmiştir. Bu üç yöntem için, ışık kaynağının yerinin belirlenmesinde kullanılan sonuç bağıntılar, bölüm sonunda tablo halinde ve rilmiştir. Üçüncü bölümde, tondan-şekil-bulma problemi tüm ayrıntıları ile incelen miştir. Burada, önce bilgisayar görü problemlerinde kullanılan ve kötü durumlu problemleri iyi konumlu problemler haline dönüştürerek çözülmesini sağlayan düzgünlük kuramı ele alınmıştır. Yüzey parametrelerinin ifade edilmesi, yan sıtma haritası ve görüntü yansıtma eşitliği ile ilgili açıklamalardan sonra, deği şimlerin hesaplanması (calculus of variations) yaklaşımı kullanılarak TŞB yön teminin ardışıl olarak çözülmesi problemi incelenmiştir. Tondan-şekil-bulma problemlerinde kullanılan sınırlamaların açıklanmasından sonra, literatürdeki temel TŞB metodları özetlenmiştir. Ayrıca bu bölümde, tondan-şekil-bulma problemi ile ilişkili olarak, Fotometrik Stereo'dan Şekil bulma (FSŞB) tekniği de incelenmiştir. TŞB ile FSŞB arasındaki fark, TŞB'de bir tane giriş resmi kul lanılmasına karşın, FSŞB'de birden fazla giriş resmi kullanılabilmektedir. Bu giriş resimleri, bakış doğrultuları aynı kalmak üzere, ışık kaynağının konumu değiştirilerek elde edilmektedir. FSŞB yönteminde birden fazla giriş resminin kullanılması sayesinde, resimdeki obje hakkında daha fazla bilgiye sahip olun maktadır. Dördüncü bölümde, TŞB problemlerinde kullanılan sınırlamaların çözüm üzerindeki etkileri incelenmektedir. Bu amaçla, sınırlamaların tümünü içeren F(p,q,z) = F1(p,q) + \F2(p,q) + pıF3(p,q,z) + 0F4(p,q) (8) enerji fonksiyoneli tanımlanmıştır. Buradaki A, fi ve f3 parametreleri sabit sayılar olup kendileri ile ilişkili sınırlamaların enerji fonsiyoneli içindeki ağır lıklarını belirlemektedirler. Yukarıda tanımlanan enerji fonksiyonelini enaza xviindirme problemi çözülerek, ardışıl bir TŞB yöntemi elde edilmiş ve kullanıl mıştır. Her bir sınırlamanın çözüm üzerindeki etkilerini görebilmek amacıyla, algoritma parametreleri A, /j, ve /?'nm değişik kombinasyonları kullanılarak TŞB çözümleri elde edilmiştir. Her durumda, toplam enerji (i71), ardışıl adımların fonksiyonu olmak üzere grafik olarak çizdirilmiştir. Gerçek yüzey parametreleri (p*,q*) ve gerçek yüzey z* ile, TŞB'den bulunan yüzey parametreleri (p,q) ve yüzey z karşılaştırılmış, ortalama yüzey parametre hataları (p-q hataları) ve yüzey hataları (z hataları) çizdirilerek sonuçların kolaylıkla değerlendirilmesi sağlanmıştır. Bununla birlikte, TŞB'den elde edilen yüzey parametreleri kul lanılarak, bu çözümlere ilişkin aydınlatılmış resimler elde edilmiş ve sınırlama ların bu resimler üzerindeki etkileri incelenmiştir. Diğer yandan, elde edilen z yüzeylerinin 1-Boyutlu kesitleri çizdirilerek, sınırlamaların z üzerindeki etkileri görülmeye çalışılmıştır. Deneysel sonuçlardan, sınırlamaların çözüm üzerindeki etkileri konusunda elde edilen sonuçlar şu şekilde özetlenebilir: Düzgünlük sınırlaması, TŞB probleminin tek çözümlü olmasını sağlamak amacıyla kullanılmasına rağmen, sayısal çözüm yönteminin yakınsaması açı sından kritik öneme sahiptir. Bu terimin çarpanı olan A parametresinin çok küçük değerleri için algoritmanın ıraksaması olasıdır. Diğer taraftan, A'mn bü yük değerleri, elde edilen yüzeylerin aşırı düzlenmesine neden olmaktadır. Bu düzleme etkisi, TŞB'den bulunan yüzeylerin aydınlatılması ile elde edilen re simlerin bulanık olmasına neden olmaktadır ve bu bulanıklığın miktarı A'mn sayısal değerine bağlı olarak değişmektedir. Integralin alınabilmesi sınırlaması, düzgünlük sınırlaması gibi, TŞB proble minde çözümün bulunmasında önemli etkilere sahiptir. Bu sınırlamanın enerji fonksiyoneli içindeki ağırlığını belirleyen parametre //'dür ve /f'nün çok küçük değerleri, sayısal TŞB yöntemiyle bulunacak çözümlerin hatalı olmasına sebep olabilir. Diğer yandan, //'nün büyük değerleri için aşırı düzlenmiş çözümler elde edilmektedir. Bu sonuçlardan anlaşılacağı gibi, doğru çözümlere ulaşılabilmesi için \ı parametresinin değerinin iyi belirlenmesi gerekmektedir. Türev farkları sınırlamasının etkisi, giriş resminin türevleri (Ix,Iy) ile TŞB yöntemiyle elde edilen aydınlatılmış resmin türevlerinin (Rx,Ry) karşılaştırıl ması sonucu belirgin olarak ortaya çıkmaktadır. Bu sınırlamanın katsayısı olan /3'nın sıfır olduğu durumda bulunan kısmi türevler, Rx ve Ry, sırasıyla Ix ve Iy ile karşılaştırıldığında, bunların birbirlerine benzemedikleri görülmektedir. Oy sa, /?'nın sıfırdan farklı olduğu durumda bulunan Rx ve i?y'nin giriş resminin türevlerine oldukça benzediği deneysel sonuçlardan kolaylıkla görülmektedir. Diğer taraftan ardışıl çözüm yönteminde, /?'nın büyük değerleri için bulunan çözümlerdeki p-q hatası ve z hatası, başlangıçta düşük olmasına rağmen, ite- rasyonlarm devam etmesi durumunda artmaktadır. Bu sonuçlardan da anlaşılacağı gibi, TŞB probleminde kullanılan smırla- xvıımaların çözüm üzerinde kritik etkileri vardır. Bu sınırlamaların ağırlıklarını belirleyen algoritma parametreleri X, fi ve /?'nm ancak uygun değerleri için TŞB yönteminden başarılı sonuçlar alınması olasıdır. Beşinci bölümde, uyarlanır düzleme (adaptive smoothing) [6] yönteminin TŞB problemine uygulanması konusunda çalışılmıştır. Dördüncü bölümde, düzleme sınırlamasının, TŞB'den bulunan yüzeylerin oldukça fazla düzlenmesi- ne sebep olduğu sonucu belirlenmişti. Bu istenmeyen etkiyi ortadan kaldırmak için, uyarlanır düzleme yöntemi TŞB problemine uygulanmıştır. Bu amaçla, enerji fonksiyoneli olarak F(p,q,z) = F1{p,q) + F'2(p,q) + pFz(p,q,z) + Ş F4(p,q) (9) ifadesi tanımlanmıştır. Burada Fi, F3 ve F4 terimleri daha önce tanımlandı ğı gibi, sırasıyla aydınlanma sınırlaması, integralin alınabilmesi sınırlaması ve türev farkları smırlamasıdır. Düzlük sınırlaması ise Üip, <z) = // K*, v) (pI + Pt + ql + qD dx dy (10) şeklinde değiştirilmiştir. Dikkat edilirse, burada X(x,y), uzamsal koordinat ların bir fonksiyonudur ve ardışıl TŞB algoritmasında, bu fonksiyonun (x,y) noktasındaki değeri x / s _ f F(x, V, Ku) if c(x, y) > 0 and \0ıd > Xmin,. new[X,y)~\ \oid(x,y) otherwise { J ile hasaplanır. Burada kullanılan T{x, y, \0td) fonksiyonu aşağıdaki gibi tanım lanmıştır: ^(^y,AoH) = (l-e”^)Aro,-n + (e"evr )Xold(x,y). (12) Bu fonksiyondaki c(x,y), kontrol işaretidir ve absÇ) mutlak değeri göstermek üzere, c(x,y) = abs(I(x,y) - R(p,q)yden hesaplanır. Vp, üstel fonksiyonun düşme hızını kontrol eden bir zaman sabitidir. Amîn ise, önceden belirlenen ve A'nın alabileceği en küçük değeri gösteren bir sabittir. A'nın yeni değerlerinin hesaplanması için kullanılan F(x,y,\0id) fonksiyonu, üstel olarak azalan bir fonksiyondur ve lim F{x,y,X0ıd) = X0ıd(x,y) ve lim F(x,y, Xotd) = Xmin (13) c(x,y)->0 c(x,y)-*oo özelliklerine sahiptir. (9)'daki enerji fonksiyonelini enaza indirme problemi çö zülerek, uyarlanır TŞB yöntemi için ardışıl çözüm yöntemi elde edilmiş ve de neysel sonuçların bulunmasında kullanılmıştır. Bu bölümde ayrıca, uyarlanır düzleme yönteminin FSŞB problemine uyar lanması konusunda da çalışılmıştır. Bu amaçla XV111F(p, q, z) = F[(p, q) + F'2(p, q) + fx F3(p, q,z) + fi F4(p, q) (14) enerji fonksiyoneli kullanılmıştır. Burada F3 ve F4 terimleri surasıyla integralin alınabilmesi sınırlaması ve türev farkları smırlamasıdır. F2 fonksiyonu (10) 'da verildiği gibidir ve Fx ise Fi(p, q) = JJi(H*> y) - r(p> ?))2 + (H*> y) - R(p, ?))2) dx dy (is) olarak tanımlanmıştır. Buradaki I(x, y) ve İ(x, y), bakış doğrultulan aynı fakat aydınlanma doğrultuları farklı iki görüntüyü göstermekte, R(p, q) ve R(p, q) ise bu iki görüntüye karşı gelen yansıtma haritalarını ifade etmektedir. (14) 'deki enerji fonksiyonelini enaza indirme problemi çözülerek, uyarlanır TŞB ve FSŞB yöntemlerinin birleşiminden oluşan ardışıl sayısal çözüm yöntemi geliştirilmiş ve bu yöntem kullanılarak deneysel sonuçlar elde edilmiştir. Beşinci bölümdeki deneysel sonuçlardan görülmüştür ki, uyarlanır düzle me yönteminin kullanılması, uyarlanır olmayan TŞB yönteminden elde edilen yüzeylerdeki istenmeyen düzlenme etkisini ortadan kaldırmış ve daha başarılı sonuçlar bulunmasını sağlamıştır. Uyarlanır TŞB yöntemi ile fotometrik stereo tekniğinin birleştirilmesi ve elde edilen sayısal TŞB çözüm yönteminin kulla nılmasının, sonuçların kalitesini artırmak ve hataları azalmak açısından etkili olduğu deneysel olarak gösterilmiştir. xıx

Özet (Çeviri)

SUMMARY Shape recovery is a classic problem in computer vision. The goal in shape recovery is to extract surface orientation and surface depth from one or more images. Shape-from-shading (SFS) deals with the recovery of 3-Dimensional shape from a single shaded image. Shape-from-photometric-stereo is another method for shape recovery used in computer vision. In this technique, shape is recovered by using multiple input images of the same scene generated fixed viewing direction and different light source directions. The shape-from-shading problem is addressed in this study. All the con straints used in SFS are combined in an iterative scheme and the effects of these constraints on the solution are explored. Then, a shape-from-shading algorithm based on the regularization theory is developed, in which the smoothness is con trolled spatially over the image space. The spatial control of the smoothness is achieved by employing additional knowledge about the difference between the image which is obtained from the regularized solution and the input image. The adaptive nature of the algorithm eliminates the selection of the optimum value of the smoothness parameter. Using calculus of variations and a linear approximation of the reflectance map, the new adaptive iterative scheme is developed. The new algorithm is robust, data driven and updates both the gradient field and height maps simultaneously. A hierarchical implementation of our adaptive SFS algorithm is also presented. In order to improve the quality of the reconstruction obtained by the SFS algorithm, we integrated our adap tive SFS approach and photometric stereo technique to recover shape by using more than one input image. xn

Benzer Tezler

  1. Tez No

    55623

    Mobil haberleşme sistemlerinde konuşma kodlama

    Başlık çevirisi yok

    TÜRKER BİRSEN

    Yüksek Lisans

    Türkçe

    Türkçe

    1996

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    PROF.DR. GÜNSEL DURUSOY

  2. Tez No

    46486

    Çevre davranış alanı içinde konut ve çevre değiştirmenin insana etkisinin mimari açıdan incelenmesi

    Investigation from the architectural point of view the influence of residential shift-relocation on human being

    CEMİLE TİFTİK

    Doktora

    Türkçe

    Türkçe

    1995

    Mimarlıkİstanbul Teknik Üniversitesi

    PROF.DR. FERHAN YÜREKLİ

  3. Tez No

    75538

    Yeni bir hata değişik delta ağ maddeli arttırılmış delta ağı (ADA)

    Başlık çevirisi yok

    M.EBRU KOLUSAYIN

    Yüksek Lisans

    Türkçe

    Türkçe

    1998

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MEHMET BÜLENT ÖRENCİK

  4. Tez No

    97585

    Management information system application with client/server archtecture for GSM network planning

    GSM ağ planlaması için istemci/sunucu mimarisiyle yönetim bilgi sistemi uygulaması

    MURAT AYYILDIZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2000

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. AKİF EYLER

  5. Tez No

    46558

    Sınır çizgilerini uyuşturma yöntemi ile yerleştirme

    Part nesting using contour matching

    İBRAHİM SOĞUKPINAR

    Doktora

    Türkçe

    Türkçe

    1995

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    PROF.DR. EŞREF ADALI

Geri Dön