C-Stream: A coroutine-based elastic stream processing engine
C-Stream: Eş program tabanlı esnek akan veri işleme motoru
- Tez No: 392047
- Danışmanlar: DOÇ. DR. BUĞRA GEDİK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2015
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Akan veri işleme, canlı veriyi havada işleme üzerine olan bir programlama paradigmasıdır. Bu paradigma içinde barındırdığı ardışık düzen, veri ve görev paralelleştirme methodlarını kullanarak, uygulamaların birim zamanda üretilen iş miktarını arttırmasına yada birim iş parçası başına duşen ortalama işlem süresinin azalmasına olanak saglar. Bu tez çalışmasında, elastik akan veri işleme motoru olan C-Stream dizayn ve uygulamaları geliştirilmiştir. İlk olarak C-Stream, literatürdeki çalışmaların çoğunluğunun benimsediği olaya-dayalı işleç geliştirme methodunun aksine eş-program tabanlı işleç geliştirme modelini sunmaktadır. Bu modelde her işleç, kendi kontrol döngüsüne sahip olmakta, veri erişilebilirlik uygulama programi arabirimi (UPA) ile veri işleme zamanını kontrol edebilmektedir. Bu model çok-portlu işleç geliştirme sürecini basitleştirmektedir. Ikinci olarak, C-Stream işleçlerin çalışmasını kontrol eden, çok izlekli dinamik zamanlayıcı barındırmaktadır. Bu zamanlayıcı, eklentiler ile de özelleştirilebilmektedir. Eklentilerden bagımsız olarak, zamanlayıcı geri-baski problemini çozer, işleçlerin veri erişilebilirlik UPA'sına ulaşımını saglar, işleçlerin çalısma esnasında durdurulması ve sonlanmasını kontrol eder. Son olarak, C-Stream elastik paralelleştirme ozelliğine sahiptir. Dinamik olarak aktif çalısan izlek sayısını kontrol etmekle beraber, uygulamada tıkanmaya sebep olan işleçleri tespit ederek, onların kopya sayısını arttırır ve tıkanmayı ortadan kaldırır. Yaptığımız deneyler gostermektedir ki, C-Stream ölçeklenebilir, özelleştirilebilir ve esnek paralelleştirme ozelliğine sahip bir akan veri işleme uygulaması geliştirme motorudur.
Özet (Çeviri)
Stream processing is a computational paradigm for on-the-fly processing of live data. This paradigm lends itself to implementations that can provide high throughput and low latency, by taking advantage of various forms of parallelism that is naturally captured by the stream processing model of computation, such as pipeline, task, and data parallelism. In this thesis, we describe the design and implementation of C-Stream, which is an elastic stream processing engine. C-Stream encompasses three unique properties. First, in contrast to the widely adopted event-based interface for developing stream processing operators, C-Stream provides an interface wherein each operator has its own control loop and rely on data availability APIs to decide when to perform its computations. The self-control based model signifcantly simplifes development of operators that require multi-port synchronization. Second, C-Stream contains a multi-threaded dynamic scheduler that manages the execution of the operators. The scheduler, which is customizable via plug-ins, enables the execution of the operators as co-routines, using any number of threads. The base scheduler implements back-pressure, provides data availability APIs, and manages preemption and termination handling. Last, C-Stream provides elastic parallelization. It can dynamically adjust the number of threads used to execute an application, and can also adjust the number of replicas of data-parallel operators to resolve bottlenecks. We provide an experimental evaluation of C-Stream. The results show that C-Stream is scalable, highly customizable, and can resolve bottlenecks by dynamically adjusting the level of data parallelism used.
Benzer Tezler
- İnterstisyel sistit etiyolojisinde mikrobiyolojik araştırmanın yeri
The value of microbiological investigation in interstistial cystitis etiology
TAHSİN BATUHAN AYDOĞAN
- Fuel oil ile çalışan endüstriyel tip skoç kazanların doğalgaza dönüştürülmesinin bilgisayar simulasyonu
Computer simulation of converting industrial scotch type boilers working with fuel oil into natural gas
ARİF LEVENT KUZAY
- Ni/Zr/kıeselguhr katalizörü ile karbon dioksit metanasyonu
Methanation of carbon dioxide over supported nickel/zirconium catalyst
ÜLKÜ GÜNASLAN
- Dizi film yapım - yayın süreçlerinin televizyon ve internet yayıncılığı açısından karşılaştırılması: Behzat Ç. örneği
A comparative study on TV series making-broadcasting processes in terms of television and internet broadcasting: The case of Behzat Ç.
OĞUZHAN DUMAN
Yüksek Lisans
Türkçe
2020
İletişim BilimleriSelçuk ÜniversitesiRadyo Televizyon ve Sinema Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SÜLEYMAN SIRRI YILMAZ
- Haringet çayının bazı fiziksel ve kimyasal özellikleri
A study on some physical and chemical properties of Haringet stream
HAZEL GÖKBULUT
Yüksek Lisans
Türkçe
2011
Su ÜrünleriFırat ÜniversitesiSu Ürünleri Mühendisliği Ana Bilim Dalı
PROF. DR. BÜLENT ŞEN