Novel merging based height-balanced histogram computation for big data
Büyük veriler için yeni birleştirme tabanlı yükseklik dengelenmiş histogram oluşturma
- Tez No: 476398
- Danışmanlar: YRD. DOÇ. DR. AHMET ERCAN TOPCU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2017
- Dil: İngilizce
- Üniversite: Yıldırım Beyazıt Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Üretilen ve bulut sistemlerde kaydedilen data miktarı her geçen gün katlanarak artmaktadır. Buna örnek olarak, kullanıcı tarafından üretilen veriler, makine tarafından üretilen veriler ve İnternet'ten crawl edilen veriler gösterilebilir. Petabyte boyutunda dataları depolamak ve işlemek için; Apache Hadoop ekosistem araçları ve bazı NoSQL frameworkleri gibi verimliliği kanıtlanmış frameworkler vardır. Bu araçlar endüstride geniş çaplı kullanılmaktadır ve bu sebepten çeşitli araştırmalara konu olmaktadır. Önerilen veri işleme teknikleri yukarıda saydığımız frameworklere pratik olması için uyumlu olmalıdır. Önermli veri operasyonlarından bir tanesi de, equi-depth(eş-derinlikli) histogram oluşturmaktır. Çünkü equi-depth histogramlar, sorgu optimizasyonu da gerektiren birçok uygulamada, datanın istatistiksel özelliğini anlamak için hayati öneme sahiptir. Bu tezde, büyük veriler için approximate equi-depth histogramının oluşturulması üzerine çalışılmıştır ve verilen zaman aralığının equi-depth histogramını oluşturan histogram birleştirme tabanlı yeni bir metod ve bu metodu kullanan bir framework geliştirilmiştir. Bu framework, parçalar halinde bulunan tam olarak hesaplanmış equi-depth histogramları birleştirmek kaydıyla yaklaşık bir equi-depth histogram oluşturmaktadır. Oluşturulan bu histogramın bir bucketında bulunan öğe sayısınında oluşabilecek maksimum hata sınırı garanti edilmektedir. Histogra- mın herhangi bir aralığında da maksimum hata sınırı garanti edilmektedir. Biz bu tezde önerdiğimiz metodun Apache Pig ve web uygulamalarını da sunmaktayız.
Özet (Çeviri)
The amount of data generated and stored in cloud systems has been increasing exponentially. The examples of data include user generated data, machine generated data as well as data crawled from the Internet. There have been several frameworks with proven efficiency to store and process the petabyte scale data such as Apache Hadoop ecosystem tools, and several NoSQL frameworks. These systems have been widely used in industry and thus are subject to several research. The proposed data processing techniques should be compatible with the above frameworks in order to be practical. One of the key data operations is deriving equi-depth histograms as they are crucial in understanding the statistical properties of the underlying data with many applications including query optimization.In this thesis, we focus on approximate equi-depth histogram construction for big data and propose a novel merge based histogram construction method with a histogram processing framework which constructs an equi-depth histogram for a given time interval. The proposed method constructs approximate equi-depth histograms by merging exact equi-depth histograms of partitioned data by guaranteeing a maximum error bound on the number of items in a bucket (bucket size) as well as any range on the histogram. We also test Apache Pig User Define Functions of this proposed method in this thesis.
Benzer Tezler
- Laser ablation assisted size-based sorting of pure water droplets inside a microfluidic chip and designing a microfluidic chip for studying sprouting angiogenesis
Lazer işleme ile geliştirilen mikroakışkan çip içerisinde su damlalarının boyutlarına bağlı sınıflandırılması ve anjiyojenez çalışmalarına yönelik mikroakışkan çip tasarımı
ATEEQ UR REHMAN
Doktora
İngilizce
2019
BiyomühendislikKoç ÜniversitesiBiyomedikal Bilimler ve Mühendislik Ana Bilim Dalı
PROF. DR. ALPER KİRAZ
- Kumtaşı ocaklarında patlatma faaliyetlerinde parçalanma modellerinin incelenmesi
Investigation of blast fragmentation models in sandstone quarries
ÖZGE AKYILDIZ
Yüksek Lisans
Türkçe
2015
Maden Mühendisliği ve Madencilikİstanbul Teknik ÜniversitesiMaden Mühendisliği Ana Bilim Dalı
DOÇ. DR. TÜRKER HÜDAVERDİ
- Application of computer-based methods to guide the development of novel sirtuin inhibitors
Başlık çevirisi yok
BERİN KARAMAN
Doktora
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMartın Luther Unıversıty Of Halle-WıttenbergPROF. DR. WOLFGANG SIPPL
- Bulanık PID kontrolörleri için birleştirme operatörüne dayalı yeni bir öz-ayarlama yöntemi tasarımı
A novel self-tuning method based on aggregation operator for fuzzy PID controllers
ÇAĞRI GÜZAY
Yüksek Lisans
Türkçe
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ENGİN YEŞİL
- Data association for object tracking in a shape-based sensory substitution system
Şekı̇l tabanlı duyusal ı̇kame sı̇stemı̇nde nesne takı̇bı̇ ı̇çı̇n verı̇ eşleşmesı̇
HOSSEIN POURGHAEMI ANBARDAN
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. GÖKHAN İNCE