Geri Dön

Federated learning and distributed inference over wireless channels

Kablosuz kanallar üzerinde federe öğrenme ve dağıtık çıkarım

PDF İndir

  1. Tez No: 838397
  2. Yazar: BÜŞRA TEGİN
  3. Danışmanlar: PROF. DR. TOLGA METE DUMAN
  4. Tez Türü: Doktora
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İhsan Doğramacı Bilkent Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Geniş bağlantı ve artan bağlı cihaz sayısıyla işaretlenen bir dönemde, bilgi zenginliğine benzeri görülmemiş bir erişim elde ettik. Bu sayede, akıllı sistemlerin güvenilirliğini ve hassasiyeti arttı ve daha önce hiç olmadığı kadar yetenekli öğrenme algoritmaları geliştirildi. Ancak, bu veri miktarındaki artış aynı zamanda artan trafik yükleri ve önemli hesaplama kaynaklarının gerekliliği nedeniyle bu akıllı sistemlerin eğitim ve sonuç çıkarma süreçlerini geliştirmede yeni zorlukları da beraberinde getirmektedir. Sonuç olarak, federe öğrenme (FL) ve dağıtık çıkarım sistemlerinin tanıtımı kaçınılmaz hale gelmiştir. Hem FL hem de dağıtık çıkarım, ağ içinde iletişimi gerektirir, özellikle model güncellemelerinin ve ara özelliklerin iletimini gerektirmektedir. Dolayısıyla, bunların kablosuz ağlarda kullanımına önemli bir odak noktası oluşturmuş ve bu bağlamda kablosuz iletişimin kilit rolünü vurgulamıştır. Kablosuz solma kanallarda federe öğrenmenin pratik uygulanmasına yönelik olarak, donanım kaynaklı bozulmaları hesaba katan maliyet-etkin çözümlere odaklanıyoruz. Dağıtılmış çalışanların kanal durumu bilgisine (CSI) erişim olmadan çalıştığı bir kör verici senaryosunu dikkate alıyoruz. Aynı zamanda, parametre sunucusu (PS), alınan sinyalleri hizalamak için birden fazla anten kullanmaktadır. Güç tüketimini azaltmak ve donanım masraflarını düşürmek için, verici tarafında karmaşık değerli, düşük çözünürlüklü dijital-analog dönüştürücüler (DAC) ve PS tarafında analog-dijital dönüştürücüler (ADC) kullanıyoruz. Teorik analiz ve sayısal gösterimlerin bir kombinasyonuyla, federe öğrenme sistemlerinin az çözünürlüklü ADC ve DAC varlığında bile azalan kanallarda etkili bir şekilde çalışabileceğini belirliyoruz. Pratik uygulamanın başka bir yönü olarak, zaman içinde değişen kablosuz kanallar üzerinde havadan birleştirme ile federe öğrenmeyi araştırıyoruz. Bu senaryoda, işçiler yerel gradyanlarını, işçi veya PS hareketliliği gibi faktörlerden kaynaklanan zaman değişimleri yaşayan kanallar üzerinden iletiyorlar. Bu kanal değişimleri, özellikle hızlı değişen kanalların varlığında sistem performansını kayda değer bir şekilde düşürebilen ara taşıyıcı interferans (ICI) girişi oluşturur. Kanal zaman değişimlerinin FL ile havadan birleştirme yaklaşımı üzerindeki etkilerini inceliyoruz ve ortaya çıkan istenmeyen interferans terimlerinin, dağıtık öğrenme algoritmasının yakınsamasını engellemeyen sınırlı yıkıcı etkilere sahip olduğunu gösteriyoruz. Dağıtık çıkarım konseptine odaklandığımızda, çoklu sensör kablosuz çıkarım sistemini ele alıyoruz. Bu yapıda, sınırlı hesaplama kapasitesine sahip birkaç sensör, örtüşen bölgeleri gözlemliyor ve merkezi bir cihaz ile birlikte işbirlikçi çıkarım çabalarına katılıyor. Sensörlerin hesaplama yeteneklerinin doğal sınırlamaları göz önüne alındığında, ağın ön bölümünden çıkarılan özellikler, ara özellikler için sensör birleştirmeyi gerektiren bir kenar cihazına iletilir. Maximum işlemi için $L_p$-norm ilham alınan ve LogSumExp yaklaşımları ile sensör birleştirme yöntemi olarak öneriyoruz, bu da dönüşümle değişmez özelliklerin elde edilmesine ve aynı zamanda bant genişliğini verimli bir şekilde kullanılmasına olanak tanır. Önerdiğimiz yöntemin bir gelişimi olarak, $L_p$-norm ilham alınan bir öğrenilebilir sensör birleştirme tekniği sunuyoruz. Bu teknik, sensör birleştirme işlevine öğrenilebilir bir parametre ekler ve sensör birleştirmeyi ağın benzersiz özellikleri ve sensör dağılımı karakteristiklerine göre özelleştirmenin esnekliğini sunar. Davranışların bir yelpazesini kapsayarak, bu yaklaşım sistemin uyum sağlama yeteneğini artırır ve genel performans iyileştirmesine katkıda bulunur.

Özet (Çeviri)

In an era marked by massive connectivity and a growing number of connected devices, we have gained unprecedented access to a wealth of information, enhancing the reliability and precision of intelligent systems and enabling the development of learning algorithms that are more capable than ever. However, this proliferation of data also introduces new challenges for centralized learning algorithms for the training and inference processes of these intelligent systems due to increased traffic loads and the necessity of substantial computational resources. Consequently, the introduction of federated learning (FL) and distributed inference systems has become essential. Both FL and distributed inference necessitate communication within the network, specifically, the transmission of model updates and intermediate features. This has led to a significant emphasis on their utilization over wireless channels, underscoring the pivotal role of wireless communications in this context. In pursuit of a practical implementation of federated learning over wireless fading channels, we direct our focus towards cost-effective solutions, accounting for hardware-induced distortions. We consider a blind transmitter scenario, wherein distributed workers operate without access to channel state information (CSI). Meanwhile, the parameter server (PS) employs multiple antennas to align received signals. To mitigate the increased power consumption and hardware cost, we leverage complex-valued, low-resolution digital-to-analog converters (DACs) at the transmitter and analog-to-digital converters (ADCs) at the PS. Through a combination of theoretical analysis and numerical demonstrations, we establish that federated learning systems can effectively operate over fading channels, even in the presence of low-resolution ADCs and DACs. As another aspect of practical implementation, we investigate federated learning with over-the-air aggregation over time-varying wireless channels. In this scenario, workers transmit their local gradients over channels that undergo time variations, stemming from factors such as worker or PS mobility and other transmission medium fluctuations. These channel variations introduce inter-carrier interference (ICI), which can notably degrade the system performance, particularly in cases of rapidly varying channels. We examine the effects of the channel time variations on FL with over-the-air aggregation, and show that the resulting undesired interference terms have only limited destructive effects, which do not prevent the convergence of the distributed learning algorithm. Focusing on the distributed inference concept, we also consider a multi-sensor wireless inference system. In this configuration, several sensors with constrained computational capacities observe common phenomena and engage in collaborative inference efforts alongside a central device. Given the inherent limitations on the computational capabilities of the sensors, the features extracted from the front part of the network are transmitted to an edge device, which necessitates sensor fusion for the intermediate features. We propose $L_p$-norm inspired and LogSumExp approximations for the maximum operation as a sensor fusion method, resulting in the acquisition of transformation-invariant features that also enable bandwidth-efficient feature transmission. As a further enhancement of the proposed method, we introduce a learnable sensor fusion technique inspired by the $L_p$-norm. This technique incorporates a trainable parameter, providing the flexibility to customize the sensor fusion according to the unique network and sensor distribution characteristics. We show that by encompassing a spectrum of behaviors, this approach enhances the adaptability of the system and contributes to its overall performance improvement.

Benzer Tezler

  1. Tez No

    972453

    Efficient resource orchestration for distributed large language model inference at the edge

    Uç bilişimde dağıtık büyük dil modeli çıkarımı için etkin kaynak orkestrasyonu

    SAMA HABIBI

    Doktora

    İngilizce

    İngilizce

    2025

    Elektrik ve Elektronik MühendisliğiSabancı Üniversitesi

    Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. ÖZGÜR ERÇETİN

  2. Tez No

    988136

    Tıbbi nesnelerin interneti (IoMT) için mahremiyet-artırıcı bir makine öğrenmesi yaklaşımı

    A privacy-enhancing machine learning approach for the internet of medical things (IoMT)

    RIZWAN UZ ZAMAN WANI

    Doktora

    Türkçe

    Türkçe

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ÖZGÜ CAN

  3. Tez No

    978070

    Nöromorfik hesaplama ve memristor tabanlı ağ saldırı tespit sistemleri: Siber güvenlikte yeni yaklaşımlar

    Neuromorphic computing and memristor-based network attack detection systems: New approaches in cyber security

    YUSUF ETKA KÖYLÜ

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. İLHAN KOCAARSLAN

  4. Tez No

    828473

    Federated MRI reconstruction with deep generative models

    Derin üretken modeller ile federe MRG rekonstrüksiyonu

    GÖKBERK ELMAS

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TOLGA ÇUKUR

  5. Tez No

    887328

    Privacy and security enhancements of federated learning

    Federe öğrenme uygulamalarında mahremiyet ve güvenlik geliştirmeleri

    ŞÜKRÜ ERDAL

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilişim Uygulamaları Ana Bilim Dalı

    PROF. DR. ENVER ÖZDEMİR

    DR. FERHAT KARAKOÇ

Geri Dön