Scalable Data Analytics using Spark
Spark kullanarak Ölçeklenebilir Veri Analitiği
- Tez No: 413235
- Danışmanlar: YRD. DOÇ. DR. AHMET BULUT
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2015
- Dil: İngilizce
- Üniversite: İstanbul Şehir Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez çalışmasında Apache Spark ve Apache Hadoop platformları üzerinde ölçeklenebilir veri analitiği çalışılmıştır. Temel olarak üç tane temsili uygulama geliştirilmiştir: (1) Duygu Analizi, (2) İşbirliğine Dayalı Filtreleme ve (3) Konu Modellemesi. Bu uygulamaların 8 makinelik bir küme üzerinde ölçeklenebilirliği gösterilmiştir. Her makine hesaplama havuzuna 4 çekirdek, 8 GB RAM ve 100 GB disk alanı kadar katkıda bulunmuştur. GÖzlemlerimize göre, Apache Spark üretim ortamlarında güvenli bir şekilde kullanılabilir olgunluktadır.
Özet (Çeviri)
This thesis presents our experience in designing a scalable data analytics platform on top of Apache Spark (major) and Apache Hadoop (minor). We worked on three repre- sentative applications: (1) Sentiment Analysis, (2) Collaborative Filtering and (3) Topic Modeling. We demonstrated how to scale these applications on a cluster of 8 workers. Each worker contributes 4 cores, 8 GB RAM, and 100 GB of disk space to the com- pute pool. Our conclusion is that Apache Spark has enough maturity to be deployed in production comfortably.
Benzer Tezler
- SDN integration for internet of things using WSN and RFID
Başlık çevirisi yok
MOHAMMED HUSSEIN AL-HUBAISHI
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. CELAL ÇEKEN
DOÇ. DR. SEÇKİN ARI
- Akıllı çiftlikler için büyük veri analizi
Big data analysis for smart farming
DUYGU NAZİFE ZARALI
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HACER KARACAN
- Büyük veri problemlerinde performans arttırmaya yönelik özellik seçimi ve boyut indirgeme optimizasyonu
Feature selection and dimensionality reduction optimization to improve performance in big data problems
BURHAN ERDOĞDU BEYAZIT
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
PROF. CEVRİYE GENCER
- Geniş ölçekli veriler üzerinde sınıflandırma ve bölütleme amaçlı evrişimsel sinir ağı ve istatistiksel modellerin geliştirilmesi
Development of convolutional neural network and statistical models for classification and segmentation on large-scale data
NURULLAH ÇALIK
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. LÜTFİYE DURAK ATA
- Bulut bilişim hizmetlerini kullanarak nesnelerin interneti tabanlı bir uygulamanın geliştirilmesi
Developing an application based on the internet of things using cloud computing services
KARRAR FADHIL MOHAMMED ALSABAK
Yüksek Lisans
Türkçe
2020
Bilim ve TeknolojiKastamonu ÜniversitesiMalzeme Bilimi ve Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YASEMİN GÜLTEPE