Geri Dön

Intrinsic and extrinsic evaluation of word embedding models

Kelime gömevlerinin içsel ve dışsal değerlendirmesi

PDF İndir

  1. Tez No: 599031
  2. Yazar: GÖKÇE YEŞİLTAŞ
  3. Danışmanlar: PROF. DR. TUNGA GÜNGÖR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Bir kelimeyi matematiksel olarak temsil etmek doğal dil işleme uygulamarında önemli bir konudur. Bengio ve arkadaşlarının 2003'te basit sinir ağları kullanarak kelime vektör temsilleri elde etmelerinin ardından, kelimeleri sürekli vektör uzayında temsil etmek daha popüler hale gelmiştir. Mikolov ve arkadaşları 2013'te, word2vec adında yeni bir yöntem öne sürerek, kelime gömevlerinin sözdizimsel ve anlamsal benzerlikleri yakalayabildiğini gösterdi. O zamandan beri İngilizce için birçok yöntem geliştirildi ve uygulamalar yapıldı. Ancak, Türkçe'de kelime temsilleri üzerine yapılan sadece birkaç çalışma vardır. Bu çalışmada kelime gömevi yöntemlerinin hem Türkçe hem de İngilizce'de nasıl çalıştığını analiz etmeyi amaçladık. Word2vec kelime gömevi modeline odaklandık ve kelime temsillerinin kalitesini artırmak için bu modeli geliştirmeye çalıştık. Ek olarak, farklı pencere ve vektör boyutlarına sahip birçok model eğittik. Farklı konfigürasyonların kelime temsillerinin kalitesi üzerindeki etkisini hem içsel hem de dışsal olarak analiz ettik. İçsel değerlendirme için kelime benzeşim görevlerini ve dışsal değerlendirme için ise kelime benzerlik görevlerini kullandık. Sonuç olarak, önerilen modellerimizin Türkçe için, çoğu benzeşim kategorisinde, orijinal word2vec modeline göre daha iyi performans sergilediği gözlemlendi. Ayrıca, pencere ve vektör boyutlarının arttırılmasının, farklı benzeşim kategorilerinde farklı sonuçlar verdiğini gözlemledik. Pencere ve vektör boyutundaki artışın her zaman olumlu sonuçlanmadığını gördük. Bazı kelime benzeşim ve kelime benzerliği görevleri için pencere ve vektör boyutu arttıkça sonuçların kötüleştiğini gözlemledik.

Özet (Çeviri)

In natural language processing tasks, representing a word is an important issue. After Bengio et al. introduced a simple neural network language model that learns word vector representations in 2003, representing words in continuous vector space has become more popular. Mikolov et al. introduced a method named word2vec and showed that word embedding could capture meaningful syntactic and semantic similarities in 2013. Many methods and implementations have been proposed for English since then. However, there are only a few studies on word representations in Turkish. In this study, we aimed to understand and analyze how word embedding models work on both Turkish and English. We focused on the word2vec word embedding model and tried to modify it to improve the quality of word representations. Additionally, we trained many models with different window sizes and dimensions. The impact of different configurations on the quality of word representations was analyzed both intrinsically and extrinsically. We reported the accuracy on word analogy tasks for intrinsic evaluation and word similarity tasks for extrinsic evaluation. Our results show that our proposed models perform better on most of the word analogy task categories for Turkish. We also showed that increasing window sizes and dimensions does not always affect the accuracy in a positive direction. For some analogy and word similarity tasks, it affects negatively.

Benzer Tezler

  1. Tez No

    399488

    Feminen normlara uyum ve iyi oluş ilişkisi: İçsel ve dışsal motivasyonlar bakımından bir inceleme

    The relation between feminine norm conformity and well being: A study in terms of intrinsic and extrinsic motitations

    ZEYNEP AKGÜN BABAOĞLAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2015

    SosyolojiMersin Üniversitesi

    Kadın Çalışmaları Ana Bilim Dalı (disiplinlerarası)

    PROF. DR. ÜNSAL YETİM

  2. Tez No

    241858

    Ortaöğretim kimya öğretmenlerinin iş tatmini

    Job satisfaction of chemistry teachers in secondary education

    ADEM YAVUZ ÖZTÜRK

    Yüksek Lisans

    Türkçe

    Türkçe

    2007

    Eğitim ve ÖğretimYeditepe Üniversitesi

    Eğitim Yönetimi Ana Bilim Dalı

    DR. MUSTAFA OTRAR

  3. Tez No

    338402

    The design, development and evaluation of an electronic performance support system (EPSS) for the crime scene investigation unit

    Olay yeri inceleme birimi için elektronik performans destek sisteminin tasarımı, geliştirilmesi ve değerlendirilmesi

    İLKER YAKIN

    Doktora

    İngilizce

    İngilizce

    2012

    Eğitim ve ÖğretimOrta Doğu Teknik Üniversitesi

    Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı

    PROF. DR. SONER YILDIRIM

  4. Tez No

    535576

    Clueweb09 ve clueweb12 veri kümelerinin waterloo spam sıralamalarinin retrospektif olarak değerlendirilmesi

    Retrospective evaluation of waterloo spam rankings of the ClueWeb09 and ClueWeb12 datasets

    İBRAHİM BARIŞ YILMAZEL

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnadolu Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ AHMET ARSLAN

  5. Tez No

    452599

    Sıçan testis torsiyonu iskemi/reperfüzyon hasarında, pı3k-akt-mtor yolakları üzerinden cape ve EGCG'nin koruyucu etkilerinin değerlendirilmesi

    Evaluation of the protective effects of CAPE and EGCG ın the rat testicular torsion ischemia / reperfusion injury, through the PI3K-Akt-mTOR pathways

    YAĞMUR SARICA

    Yüksek Lisans

    Türkçe

    Türkçe

    2014

    Histoloji ve EmbriyolojiCelal Bayar Üniversitesi

    Histoloji ve Embriyoloji Ana Bilim Dalı

    PROF. DR. VİSSUN SEVİNÇ İNAN

Geri Dön