Novel gradient-based methods for data distribution and privacy in data science
Veri biliminde mahremiyet ve veri dağılımına dayalı gradyan tabanlı yeni metodlar
- Tez No: 604746
- Danışmanlar: PROF. DR. ŞEVKET İLKER BİRBİL
- Tez Türü: Doktora
- Konular: Endüstri ve Endüstri Mühendisliği, Industrial and Industrial Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Yöneylem Araştırması Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Veriyi farklı lokasyonlarda saklama ihtiyacındaki artış dağıtık veriyi analiz edebilen algoritmaların önemini de arttırmıştır. Bu tezde, veri dağıtımı ve mahremiyet özelinde tanımlanmış gradyan-tabanlı birkaç algoritma tanıtılacaktır. İlk olarak, ispatlanabilir yakınsak, ikinci dereceden kademeli ve yapısı gereği ayrıştırılabilir bir algoritma önerilecektir. Bu algoritma dağıtık veri ile çalışabilmektedir. Yerel ikinci dereceden yaklaşım kullanarak eğrilik bilgisi yardımıyla yakınsaklığı hızlandırma başarılmıştır. Ek olarak, büyük ölçekli veri bilimi problemi üzerinde tanıtılan algoritmanın paralelleştirilmesinin paralel rassal gradyan inişi algoritmasından daha iyi performans sergilediği gösterilmiştir. Bu tanıtılan ilk algoritma farklı lokasyonlarda saklanan veriyi kullanma problemini çözse de veri güvenliği için yeterli değildir. Tezin ikinci kısmında veri güvenliğini garanti etmek amacıyla diferansiyel olarak mahrem eniyileme algoritmaları tanıtılacaktır. İlk algoritma geçmiş gradyanların ağırlıklı ortalamalarını almaya dayalı bir düzleştirme yaklaşımı kullanmaktadır. Böylelikle gürültü varyansı düşürülmektedir. Varyanstaki bu azalma artan gürültü algoritma performansına zarar verebileceği için eniyileme algoritmaları açısından önemlidir. Ek olarak, yakın zamanda tanıtılmış çok aşamalı hızlandırılmış bir algoritmanın diferansiyel mahrem versiyonu da verilmiştir. Tanıtılan mahrem algoritmaların hepsinin parametre seçimi gürültü göz önünde bulundurularak yapılmış, kullanılan adım boyları gürültü eklenmiş gradyanların varyansı ile orantılı olarak seçilmiştir. Sayısal deneyler de bizim algoritmalarımızın bazı bilinen diferansiyel olarak mahrem algoritmalardan daha iyi performans sergilediğini göstermiştir.
Özet (Çeviri)
With an increase in the need of storing data at different locations, designing algorithms that can analyze distributed data is becoming more important. In this thesis, we present several gradient-based algorithms, which are customized for data distribution and privacy. First, we propose a provably convergent, second order incremental and inherently parallel algorithm. The proposed algorithm works with distributed data. By using a local quadratic approximation, we achieve to speed-up the convergence with the help of curvature information. We also illustrate that the parallel implementation of our algorithm performs better than a parallel stochastic gradient descent method to solve a large-scale data science problem. This first algorithm solves the problem of using data that resides at different locations. However, this setting is not necessarily enough for data privacy. To guarantee the privacy of the data, we propose differentially private optimization algorithms in the second part of the thesis. The first one among them employs a smoothing approach which is based on using the weighted averages of the history of gradients. This approach helps to decrease the variance of the noise. This reduction in the variance is important for iterative optimization algorithms, since increasing the amount of noise in the algorithm can harm the performance. We also present differentially private version of a recent multistage accelerated algorithm. These extensions use noise related parameter selection and the proposed stepsizes are proportional to the variance of the noisy gradient. The numerical experiments show that our algorithms show a better performance than some well-known differentially private algorithms.
Benzer Tezler
- Gerçek zaman uygulamaları için görüntü bölütleme yöntemlerinin geliştirilmesi
Improvement of image segmentation methods for real time applications
YUNUS KOÇ
Yüksek Lisans
Türkçe
2019
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. TAMER ÖLMEZ
- Sensitivity analysis and multi contrast imaging of magnetic resonance magnetohydrodynamic flow velocimetry at 3 Tesla
3 Teslada manyetik rezonans manyetohidrodinamik akış hızı ölçümünün duyarlılık analizi ve çoklu kontrast görüntülenmesi
MERT ŞİŞMAN
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. BEHÇET MURAT EYÜBOĞLU
- Short-term wind power generation forecasting by coupling numerical weather prediction models and machine learning algorithms
Sayısal hava tahmin modeli ve makine öğrenmesi algoritmaları ile kısa dönemli rüzgar enerjisi üretim tahmin modeli oluşturmak
CEM ÖZEN
Doktora
İngilizce
2022
Enerjiİstanbul Teknik ÜniversitesiMeteoroloji Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ DENİZ
- Makine öğrenmesi yöntemleri ile kredi risk analizi
Credit risk analysis using machine learning algorithms
SACİDE KALAYCI
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK