Dynamical phases of short-term memory: The emergence of slow-point and limit cycle mechanisms in recurrent neural networks
Kısa süreli belleğin dinamik evreleri: Tekrarlayan sinir ağlarında yavaş nokta ve limit döngüsü mekanizmalarının ortaya çıkışı
- Tez No: 999444
- Danışmanlar: PROF. DR. YÜCEL YEMEZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Nörobilim, Yapay zeka, Neuroscience, Artificial intelligence
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, kısa süreli belleğin hesaplamalı ilkelerini araştırmakta ve özellikle bilginin tekrarlayan sinir ağlarındaki (RNN'ler) sıralı sinirsel aktivite yoluyla nasıl korunduğunu incelemektedir. Uzun süredir devam eden bir teori, bilginin bellekte kalıcı aktivite ile tutulduğunu öne sürmektedir — bu, on yıllardır sinirbilime hakim olan ve dinamik sistemlerdeki sabit nokta çekicileriyle kavramsal olarak uyumlu bir fikirdir. Ancak bu çalışma, belleğin büyük nöral popülasyonların geçici, sıralı ateşleme modellerinde kodlanabileceği alternatif hipotezini araştırmaktadır. Bu dinamik süreci destekleyebilen iki ana mekanizmayı tanımlıyor ve titizlikle karakterize ediyoruz: bir eyer-düğüm çatallanması yoluyla doğrudan, salınımsız diziler üreten yavaş nokta manifoldları ve zamansal kodlama için periyodik, salınımlı bir temel sağlayan limit döngüleri. Basitleştirilmiş ancak analitik olarak çözülebilir dinamik sistem modelleri kullanarak, eğitimin kararsız hale geldiği eşik olan kritik öğrenme oranını bellek gecikmesinin süresine kesin olarak bağlayan teorik ölçeklenme yasaları türetiyoruz. Bu yasalar, öğrenme zorluğunun gecikmenin bir üs kanunu fonksiyonu olarak arttığını, ancak her mekanizma için farklı üslerle arttığını öngörmektedir. Bu teorik öngörüler için, bellek bağımlı görevler üzerinde 80.000'den fazla RNN'den oluşan büyük ölçekli bir veri setini eğitip değerlendirerek sağlam bir deneysel doğrulama sunuyoruz. Bulgular, bellek süresi, öğrenme hızı ve ağ kararlılığı arasında temel ve güçlü bir ödünleşmeyi ortaya koymakta ve RNN'lerde uzun vadeli bağımlılıkları öğrenmenin tarihsel zorluğuna ilkeli bir hesaplamalı açıklama getirmektedir. Bu çerçeve aynı zamanda biyolojik sistemlerdeki bellek üzerindeki biyofiziksel kısıtlamalara yeni bir bakış açısı sunarak, belirli hesaplamalı stratejilerin neden diğerlerine tercih edilebileceğini düşündürmektedir. Ayrıca, bu çalışma, görev tasarımındaki küçük değişikliklerin bir ağ tarafından öğrenilen temel bellek mekanizmalarını nasıl kökten değiştirebileceğini vurgulamakta ve sistem sinirbilimi için bu hesaplamalı stratejileri canlıda (in vivo) ayırt etmeyi amaçlayan, deneysel olarak test edilebilir öngörüler sunmaktadır.
Özet (Çeviri)
This thesis investigates the computational principles of short-term memory, specifically examining how information is maintained through sequential neural activity in recurrent neural networks (RNNs). While a longstanding theory posits that persistent activity holds information in memory—an idea that has dominated neuroscience for decades and is conceptually aligned with fixed-point attractors in dynamical systems—this work explores the alternative hypothesis that memory can be encoded in the transient, sequential firing patterns of large neural populations. We identify and rigorously characterize two primary mechanisms capable of supporting this dynamic process: slow- point manifolds, which generate direct, non-oscillatory sequences through a saddle-node bifurcation, and limit cycles, which provide a periodic, oscillatory basis for temporal coding. Through the use of simplified, yet analytically tractable, dynamical system models, we derive theoretical scaling laws that precisely relate the critical learning rate— the threshold beyond which training becomes unstable—to the duration of the memory delay. These laws predict that the difficulty of learning increases as a power-law function of the delay, but with different exponents for each mechanism. We provide rigorous empirical validation for these theoretical predictions by training and evaluating a large-scale dataset of over 80,000 RNNs on memory-dependent tasks. The findings reveal a fundamental and robust trade-off among memory duration, learning speed, and network stability, offering a principled computational explanation for the historical difficulty of learning long-term dependencies in RNNs. This framework also offers a new perspective on the biophysical constraints on memory in biological systems, suggesting why certain computational strategies might be favored over others. Furthermore, this work highlights how subtle alterations in task design can fundamentally change the underlying memory mechanisms learned by a network, providing concrete, experimentally testable predictions for systems neuroscience aimed at differentiating these computational strategies in vivo.
Benzer Tezler
- Dynamical phases of short-term memory: The emergence of slow-point and limit cycle mechanisms in recurrent neural networks
Kısa süreli belleğin dinamik evreleri: Tekrarlayan sinir ağlarında yavaş nokta ve limit döngüsü mekanizmalarının ortaya çıkışı
BARIŞCAN KURTKAYA
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
PROF. DR. YÜCEL YEMEZ
- Control and system identification of legged locomotion with recurrent neural networks
Tekrarlayan sinir ağları ile bacaklı lokomosyonun kontrolü ve sistem tanımlanması
BAHADIR ÇATALBAŞ
Doktora
İngilizce
2022
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ÖMER MORGÜL
- Görsel algıya ilişkin bir korteks modeli
A cortex model of visual cognition
MEHMET ALİ ANIL
Yüksek Lisans
Türkçe
2018
Nörolojiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. NESLİHAN SERAP ŞENGÖR
- Epilepsi hastalarında nöbet öncesi bulguların kantitatif olarak değerlendirilmesi
Quantitative evaluation of pre-seizure findings in epilepsy patients
ASIM TAŞKIN
Doktora
Türkçe
2025
NörolojiTekirdağ Namık Kemal ÜniversitesiNöroloji Ana Bilim Dalı
PROF. DR. AYSUN ÜNAL
PROF. DR. RİFAT KORAY ÇİFTÇİ
- Derin öğrenme ve istatistiksel modellerle operasyonel rüzgar enerjisi tahmini: Batman içinn LSTM, ANN ve ARIMA uygulaması
Operational wind energy forecasting using deep learning and statistical models: An application of LSTM, ANN and ARIMA for Batman
İLAYDA KELKİTLİ BAŞARAN
Yüksek Lisans
Türkçe
2026
Enerjiİstanbul Teknik ÜniversitesiEnerji Bilimi ve Teknolojileri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUSTAFA KEMAL KAYMAK