Geri Dön

Applying and comparing smoothing techniques to contemporary printed Turkish

Güncel basılı Türkçe'ye düzeltme tekniklerinin uygulanması ve karşılaştırılması

PDF İndir

  1. Tez No: 150849
  2. Yazar: GÖKHAN DALKILIÇ
  3. Danışmanlar: PROF. DR. YALÇIN ÇEBİ
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Külliyat, kelime n-gramlan, yumuşatma, n-gram analiz algoritması, Türkçe külliyat, Türkçe kelime n-gramlan, Corpus, word n-grams, smoothing, n-gram analysis algorithm, Turkish corpus, Turkish word n-grams
  7. Yıl: 2004
  8. Dil: İngilizce
  9. Üniversite: Dokuz Eylül Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

VI ÖZET Ses ve optik karakter tanıma, metin düzeltme, veri sıkıştırma, vs. için doğal bir dilin yapısal özelliklerinin belirlenmesi gereklidir. Bu özellikler, morfolojik ve istatistiksel analiz olmak üzere iki ayrı kategoride incelenebilir. İstatistiksel analiz için, doğal dili temsil eden örnek bir külliyata (corpus) ihtiyaç vardır. Bu külliyatın kelime n-gram frekansları, uygun algoritmalar kullanılarak saptanabilir ve eksik olan n-gramlar düzeltme (smoothing) teknikleriyle tahmin edilebilir. Bu çalışmada, düzeltme tekniklerini karşılaştırmak ve güncel Türkçeye uygulamak amacıyla, kelime n-gram frekanslarının araştınlabileceği TurCo isminde bir külliyat yaratılmıştır. Kelime n-gramlanmn hesaplanması için değişik algoritmalar geliştirilmiş ve denenmiştir. Monogram, digram, trigram, tetragram ve pentagram kelime listeleri bulunduktan sonra özellikleri incelenmiştir. Genelleme yapmak için Zipf Kanunu uygulanmış ve Zipf Kanunu'nun duyarlılığım arttırmak için uygun Mandelbrot sabitleri bulunmuştur. Külliyat, dilin tümünü temsil edecek kadar büyük olamayacağından, görülmeyen n-gramlarm tahmini için düzeltme teknikleri kullanılmalıdır. Düzeltme tekniklerinin incelenmesi ve karşılaştırılması sonucunda, Back-off yönteminin en uygun çözümü verebileceği öngörülmüştür. Bu yöntemin uygulanması ve sonuçların değerlendirilmesi için En Kısa Düzeltme Uzaklığı (Minimum Edit Distance) yöntemi de kullanılarak deneysel bir yazılım geliştirilmiş ve sonuçlar Microsoft Word XP ile karşılaştnılmıştır.

Özet (Çeviri)

V ABSTRACT For speech and optical character recognition, text correction, data encryption, etc. determination of the structural properties of a natural language is essential. These properties can be analyzed under two different categories; morphological and statistical analysis. For statistical analysis, a corpus which is a representative sample of the natural language is needed. Word n-gram frequencies of that corpus can be determined by using suitable algorithms and missing n-grams can be estimated by using smoothing techniques. In this study, in order to compare and apply smoothing techniques to contemporary Turkish, a corpus named TurCo from which word n-gram frequencies would be investigated, was created. In order to calculate word n-grams, different algorithms were developed and tested. After finding monogram, bigram, trigram, tetragram and pentagram word lists, their characteristics were analyzed. For generalization, Zipf s Law was applied, and to increase the accuracy in Zipf s Law, Mandelbrot Law was applied by finding the appropriate constants of Mandelbrot. As the corpus could not be big enough to represent all of the language, smoothing techniques were used to estimate the unseen word n-grams. After the investigation and comparison of smoothing techniques, it was assumed that Back-off technique would give the best result. To apply this technique and to evaluate the results, by using the Minimum Edit Distance method a prototype program was developed, and the results were compared with Microsoft Word XP.

Benzer Tezler

  1. Tez No

    97124

    Bankacılıkta değişim yönetimi

    Change management in banking

    AYDIN ARGIN

    Doktora

    Türkçe

    Türkçe

    2000

    BankacılıkMarmara Üniversitesi

    Bankacılık Ana Bilim Dalı

    PROF. DR. NAZIM EKREN

  2. Tez No

    145026

    The significance and the contribution of 6+1 traits of writing to the success of the students in writing courses in English language teaching

    Yazmanın 6+1 özelliğinin İngilizce öğretiminde yazılı anlatım derslerindeki öğrenci başarısına katkısı ve önemi

    ÖZLEM YAZAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2004

    Eğitim ve ÖğretimGazi Üniversitesi

    İngiliz Dili Eğitimi Ana Bilim Dalı

    YRD. DOÇ. DR. PAŞA TEVFİK CEPHE

  3. Tez No

    75543

    Nesneye yönelik programlma ve delphi ile bir kuyumculuk programı

    Başlık çevirisi yok

    ANTRANİK AVİTOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    1998

    Mühendislik Bilimleriİstanbul Teknik Üniversitesi

    Mühendislik Bilimleri Ana Bilim Dalı

    YRD. DOÇ. DR. ALİ ERCENGİZ

  4. Tez No

    111207

    Okuma zorluklarını gidermede bireyselleştirilmiş öğretim materyallerinin etkililiği

    Başlık çevirisi yok

    BEYHAN KARAHÜSEYİNOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2002

    Eğitim ve ÖğretimMarmara Üniversitesi

    İlköğretim Ana Bilim Dalı

    YRD. DOÇ. DR. MURAT AŞICI

  5. Tez No

    83389

    Wilson-Devinney programının Macintosh türü bilgisayarlara uyarlanarak bazı örten değişen çift yıldızların parametrelerinin elde edilmesi

    Programming Wilson-Devinney code for the Macintosh type computer and applying it for some eclipsing variable stars which haven't analysed for the eclipsing parameters

    BİROL GÜROL

    Doktora

    Türkçe

    Türkçe

    1999

    Astronomi ve Uzay BilimleriAnkara Üniversitesi

    Astronomi ve Uzay Bilimleri Ana Bilim Dalı

    PROF.DR. İ. ETHEM DERMAN

Geri Dön