Development of process, voltage and temperature variation aware highly energy-efficient deep neural networks with high inference accuracy for internet-of-things applications
Nesnelerin internet, uygulamaları için gerilim, sıcaklık ve üretimsel sapmaları dikkate alarak yüksek enerji verimliliği ve çıkarım doğruluğuna sahip derin öğrenme ağları geliştirilmesi
- Tez No: 898583
- Danışmanlar: DR. ÖĞR. ÜYESİ ÖMER CEYLAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Mühendislik ve Doğa Bilimleri Ana Bilim Dalı
- Bilim Dalı: Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Yapay zeka modelleri, donanımda kaydedilen ilerlemelerle birlikte gelişerek günlük uygulamalar için büyük veri kümelerini işlemek konusunda önemli hale geldi. Nesnelerin İnterneti, yapay zeka kullanımını artırsa da bant genişliği, gecikme ve siber tehditler gibi zorluklar ortaya çıkarır. Yerinde hesaplama ve hızlı, enerji verimli donanımlar, özellikle tümleşik devre yapay zeka hızlandırıcıları, nesenelerin interneti cihazları için önemli çözümler arasında yer alır. Enerji verimliliğini daha da artırmak için voltaj düşürme yöntemi uygulanabilir, bu durum zamanlama hatalarına yol açabilir fakat derin sinir ağlarının doğası gereği bu hatalar tolere edebilebilir. Yoğun çarpma ve toplama işlemleri önemli ölçüde girdi ve çıktılarda değişikliğe sebep olduğundan, çipin güç hatlarında gürültü oluşturabilir. Bu tezde, voltaj ve sıcaklık gürültülerinden kaynaklanan hata olasılığını belirlemek için, işlem voltajı, sıcaklık ve üretimsel sapmalardan kaynaklı durumları hesaba katan olasılıksal hata modeli geliştirilmiş ve çalıştığı gösterilmiştir. Bu model kullanılarak, zaman alıcı Monte Carlo simülasyonlarına başvurmadan bit hata olasılığı hesaplanabilir, böylece dijital donanımın analizi için harcanan süre önemli ölçüde azaltılmış olur. Tasarımcılar, DNN modelinin katmanlarına bit hataları ekleyerek çıkarım doğruluğu gözlemleyip, katman önemine göre dinamik voltaj ölçeklendirmesi uygulayarak güç tüketimini optimize edebilirler. Modeli doğrulamak için 65nm CMOS teknolojisi kullanılarak 16x16 boyutunda bir sistolik çarpma ve toplama dizisi, hızlandırıcısı tasarlanmıştır. Tek bir çarpma ve toplama birimi zamanlama hata olasılığı açısından analiz edilmiş ve sonuçlar Monte Carlo simülasyonları ile karşılaştırılmıştır. Model makul bir doğruluk göstermiş ve Monte Carlo simülasyonlarından (1500 örnek) yaklaşık 808 kat daha hızlı bir şekilde hata oranı hesaplaması yapmıştır. Bu da hızlandırıcı üzerindeki voltaj düşürme etkilerinin zamanlama hata olasılığı açısından hızlı bir şekilde gözlemlenmesine olanak tanımıştır.
Özet (Çeviri)
Artificial intelligence (AI models have improved with advancements in hardware, processing large datasets crucial for daily applications. The Internet-of-Things (IoT) enhances AI usage but brings challenges like bandwidth overhead, latency, and cyber threats. Edge computing and fast, energy-efficient hardware, like application-specific integrated circuit DNN accelerators, are essential solutions for IOT devices. To further enhance energy efficiency, voltage reduction on power supplies is a viable method, despite causing timing errors that DNNs might tolerate due to their inherent nature. Extensive MAC operations also lead to significant switching activity, potentially generating noise on the chip's power lines. In this thesis, process voltage temperature (PVT) aware probabilistic timing error model is developed and demonstrated to find error probability due to voltage and temperature noise. By utilizing this model, bit error probability can be calculated without relying on the time-consuming Monte Carlo (MC) simulations, thus the analysis time of the digital hardware is significantly reduced. By observing the inference accuracy of a DNN model through the introducing of bit errors to its layers, designers can optimize power consumption by employing dynamic voltage scaling based on layer importance. A 16x16 systolic MAC array accelerator was designed using 65nm CMOS technology to verify the model. Single MAC unit is analyzed for timing error probability and result is compared with MC simulations. The model demonstrated decent accuracy and was approximately 808 times faster than MC simulations (1500 sample), allowing for rapid observation of voltage reduction effects on the accelerator in terms of timing error probability.
Benzer Tezler
- Yüksek enerji depolama yoğunluğuna sahip cam seramiklerin geliştirilmesi ve özelliklerinin incelenmesi
Development of high energy storage density glass ceramics and investigation of the properties
MUSTAFA DURMAZ
Doktora
Türkçe
2023
Metalurji MühendisliğiSakarya ÜniversitesiMetalurji ve Malzeme Mühendisliği Ana Bilim Dalı
PROF. DR. ŞADUMAN ŞEN
- Nikel ve kobalt katkılı seydişehir alümina tozlarından sinter seramik esaslı malzemelerin geliştirilmesi ve karakterizasyon çalışmaları
Development of sintered ceramic based materials from seydi̇şehi̇r alumina powders with nickel and cobalt additives and pertinent characterization investigations
CEREN ERGÜNEŞ
Yüksek Lisans
Türkçe
2016
Mühendislik Bilimleriİstanbul Teknik ÜniversitesiMalzeme Bilimi ve Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA LÜTFİ ÖVEÇOĞLU
- Transformatör çekirdeklerinde kullanılan cam elyaf takviyeli polyesterimid reçine kompozitin mekanik özelliklerinin incelenmesi
Investigation of the mechanical properties of glass fiber reinforced polyesterimide resin composites for transformer core applications
BARIŞ İŞLER
Yüksek Lisans
Türkçe
2025
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İBRAHİM MEHMET PALABIYIK
- A novel approach for identification of thermal and optical characteristics for the active layer of high power photonic devices
Yüksek güçlü fotonik sistemlerin aktif katmanının termal ve optik özelliklerinin karakterizasyonu için yeni bir yaklaşım
AHMET METE MUSLU
Yüksek Lisans
İngilizce
2019
EnerjiÖzyeğin ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET ARIK
- Test verilerine dayalı, makine öğrenmesi ve derin öğrenme yöntemleri ile batarya sağlık durumu tahmini
Battery state of health estimation based on test data using machine learning and deep learning methods
MEHMET ALİ ARSLANTAŞ
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. FİKRET ÇALIŞKAN