Geri Dön

Integrating multi-input data in CNN-LSTM models for AI-based cooking termination in smart ovens

Akıllı fırınlarda yapay zeka tabanlı pişirme sonlandırma için CNN-LSTM modellerine çok girdili verilerin entegre edilmesi

PDF İndir

  1. Tez No: 972231
  2. Yazar: EBRAR ÖMER
  3. Danışmanlar: PROF. DR. MUSTAFA ERSEL KAMAŞAK
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Bu tez çalı¸sması, modern mutfak teknolojileri alanında gerçekle¸stirilen önemli bir inovasyonu ele almakta ve ev tipi fırınlar için geli¸stirilen, yapay zekâ destekli, bilgisayarla görme temelli yenilikçi bir otomatik pi¸sirme sonlandırma sistemini kapsamlı biçimde sunmaktadır. Sistem, pi¸sirme sürecini gerçek zamanlı olarak izleyerek gıda ürünlerinin görsel ve fiziksel degi¸simlerini sürekli takip etmekte, ˘ bu degi¸simlerin dinamiklerini ayrıntılı biçimde analiz etmektedir. Böylece, pi¸sme ˘ sürecinde en ideal an yüksek bir hassasiyetle belirlenebilmekte, kullanıcı müdahalesine gerek kalmadan pi¸sirme i¸slemi otomatik biçimde durdurulmaktadır. Bu yakla¸sım, özellikle ev ortamlarında sıkça kar¸sıla¸sılan a¸sırı pi¸sirme, gıda israfı, kalite kaybı ve gereksiz enerji tüketimi gibi problemleri kökten çözmeyi hedeflemektedir. Bu sayede, yalnızca pratik bir kullanım kolaylıgı de ˘ gil, aynı zamanda güvenilirlik, ˘ sürdürülebilirlik ve enerji tasarrufu gibi çok boyutlu kazanımlar da elde edilmektedir. Geli¸stirilen bu teknoloji, insan gözünün sınırlı algısının veya basit zamanlayıcıların ötesine geçerek, mutfak otomasyonunda insan hatasını ortadan kaldırmayı ve her seferinde aynı kalitede, tutarlı sonuçlar üretmeyi mümkün kılmakta, böylece mutfak teknolojilerinde önemli bir paradigma degi¸simini temsil etmektedir. ˘ Sistemin altyapısı, Arçelik A.¸S. bünyesinde özel olarak tasarlanmı¸s ve geli¸stirilmi¸s bir prototip fırın üzerine kurulmu¸stur. Bu fırın, içine entegre edilen yüksek çözünürlüklü kamera ve hassas sıcaklık sensörleri sayesinde pi¸sirme sürecinin her a¸samasında çok katmanlı veriler toplamaktadır. Toplanan veriler hem görsel hem de sayısal olmak üzere iki farklı boyutta degerlendirilmi¸stir. Görsel veriler, renk de ˘ gi¸simi, doku ˘ farklıla¸sması, yiyecek boyutundaki degi¸simler gibi unsurları içerirken; sayısal veriler, ˘ fırın sıcaklıgı, pi¸sirme süresi ve sensörlerden alınan ek parametreleri kapsamaktadır. ˘ Görseller düzenli olarak her 30 saniyede bir ar¸sivlenmi¸s, sıcaklık ve süre gibi veriler ise çok daha yüksek frekansta, milisaniye seviyesinde kaydedilmi¸stir. Böylece sistem, yalnızca yüzeyde görülen degi¸simlere de ˘ gil, aynı zamanda içerideki fiziksel ˘ dönü¸sümlere de dayanarak pi¸sme derecesini hesaplamaktadır. Bu bütünle¸sik veri toplama stratejisi, klasik termostat veya zamanlayıcı kontrollerinin ötesine geçen, çok boyutlu bir“akıllı pi¸sirme”altyapısı ortaya koymu¸s ve gelecekte akıllı mutfak sistemlerinin standart bile¸senlerinden biri olabilecek bir yapıyı göstermi¸stir. Çalı¸smanın deneysel a¸saması, sistemin farklı ko¸sullarda genellenebilirligini ve ˘ dayanıklılıgını test etmek amacıyla, evlerde sık tüketilen be¸s farklı gıda türü üzerinde ˘ yürütülmü¸stür: taze pizza, donmu¸s pizza, tepsi böregi, mini börek ve somon. ˘ Bu gıdalar, pi¸sirme sırasında sergiledikleri zengin görsel ve fiziksel dönü¸sümler nedeniyle, sistemin ögrenme kapasitesini en iyi ¸sekilde de ˘ gerlendirebilecek uygun ˘ test nesneleri olarak seçilmi¸stir. Her bir gıda için sıcaklık, süre, pi¸sirme modu xxiii ve tarif varyasyonlarını kapsayan yüzlerce pi¸sirme döngüsü uygulanmı¸stır. Bu deneyler sayesinde, yalnızca kontrollü laboratuvar ko¸sullarında degil, aynı zamanda ˘ gerçek ev ortamlarında da kapsamlı bir veri tabanı olu¸sturulmu¸stur. Laboratuvar ortamında toplanan veriler, gönüllü kullanıcıların farklı marka ve model ev fırınlarında gerçekle¸stirdigi deneylerle desteklenmi¸s, bu sayede aydınlatma farklılıkları, donanım ˘ çe¸sitliligi ve kullanıcıya özgü tarif tercihleri altında bile sistemin ba¸sarılı performans ˘ sergiledigi ortaya konmu¸stur. Gerçek dünya validasyonu, modelin yalnızca akademik ˘ bir prototip olmadıgını, aynı zamanda endüstriyel ölçekte kullanılabilir, güvenilir bir ˘ çözüm olabilecegini göstermi¸stir. ˘ Veri seti etiketleme süreci, alanında uzman gıda mühendisleri ve deneyimli test ekipleri tarafından titizlikle yürütülmü¸stür. Pi¸sme derecesi sürekli bir sayısal ölçekle tanımlanmı¸s, ba¸slangıç (0.0), ideal pi¸smi¸slik (1.0) ve a¸sırı pi¸sme (>1.5) noktaları açıkça belirlenmi¸stir. Bu yakla¸sım, pi¸sirme sürecini klasik anlamda ikili sınıflandırma problemi (pi¸smi¸s/pi¸smemi¸s) olarak ele almak yerine, sürekli bir regresyon problemi olarak modellemi¸s ve sistemin pi¸sme sürecini çok daha hassas biçimde izlemesine imkân tanımı¸stır. Etiketleme fonksiyonu, pi¸smenin dogası gere ˘ gi ba¸slarda yava¸s ˘ ilerledigi, sürecin sonuna do ˘ gru ise hızlandı ˘ gı gerçe ˘ gini yansıtacak ¸sekilde do ˘ grusal ˘ olmayan üstel bir yapıda tasarlanmı¸stır. Bu yöntem, literatürdeki birçok benzer çalı¸smadan daha gerçekçi, daha sofistike ve pratikte daha uygulanabilir bir yakla¸sım sunmu¸s, böylece bu çalı¸smanın özgün katkılarından biri olmu¸stur. Model mimarisi, zaman serili veriler üzerinde güçlü performansıyla bilinen Uzun Kısa Süreli Bellek (Long Short-Term Memory – LSTM) agı üzerine kurulmu¸stur. ˘ Geli¸stirilen mimari, multimodal bir yakla¸sım benimsemi¸s; ardı¸sık görsel verilerdeki zamana baglı de ˘ gi¸simleri (örne ˘ gin kabarma, renklenme, yüzeydeki kahverengile¸sme) ˘ ögrenirken aynı zamanda sensörlerden gelen sıcaklık ve süre verilerini de entegre ˘ ederek daha kapsamlı bir analiz sunmu¸stur. Modelin girdi katmanı, sekiz ardı¸sık görsel kare ile her kareye ait sayısal özelliklerin bir araya getirilmesinden olu¸smaktadır. Görsel veriler Conv2D ve GlobalAveragePooling2D katmanları aracılıgıyla i¸slenmi¸s, ˘ sayısal veriler ise ayrı bir LSTM agına verilmi¸stir. Bu iki farklı akı¸s, birle¸sim ˘ katmanında bir araya getirilerek tek bir regresyon çıktısı üretilmi¸stir. Böylece, yalnızca görsel yüzeysel degi¸simlere dayanan zayıf bir tahmin yerine, sıcaklık ve süre gibi kritik ˘ fiziksel parametreleri de hesaba katan, güçlü ve genellenebilir bir karar mekanizması elde edilmi¸stir. Modelin egitimi, derin ö ˘ grenme ara¸stırmalarında yaygın kullanılan TensorFlow ve ˘ Keras altyapıları ile gerçekle¸stirilmi¸s ve toplam 80 epoch boyunca optimize edilmi¸stir. Egitim sürecinde modelin daha kararlı biçimde ö ˘ grenebilmesi için ö ˘ grenme oranı ˘ üstel azalma yöntemiyle dinamik olarak ayarlanmı¸stır. A¸sırı ögrenme (overfitting) ˘ riskini azaltmak amacıyla erken durdurma stratejisi uygulanmı¸stır. Kayıp fonksiyonu olarak Ortalama Mutlak Hata (MAE) seçilmi¸s, bu sayede modelin tahmin performansı dogrudan ölçülmü¸s ve aykırı de ˘ gerlere kar¸sı daha dirençli bir ö ˘ grenme sa ˘ glanmı¸stır. ˘ Egitim sürecinde kullanılan bu parametreler, hem akademik geçerlili ˘ gi hem de ˘ endüstriyel uygulanabilirligi garanti altına almı¸stır. ˘ Modelin ba¸sarımı, hem MSE (Ortalama Karesel Hata) hem de MAE metrikleriyle degerlendirilmi¸s ve sonuçlar saçılım grafikleri aracılı ˘ gıyla görselle¸stirilmi¸stir. ˘ Deneyler sonucunda, modelin farklı gıda türlerinde yüksek tutarlılıkla tahminler xxiv yaptıgı ve özellikle ideal pi¸sme e¸si ˘ gi (1.0) civarında ola ˘ ganüstü do ˘ gruluk sergiledi ˘ gi˘ görülmü¸stür. Bu bulgular, sistemin pi¸sirme sürecini tam zamanında ve yüksek dogrulukla sonlandırabilme yetene ˘ gini açıkça göstermi¸stir. Laboratuvar ortamında ˘ elde edilen sonuçlar, gerçek kullanıcı deneyimleriyle de dogrulanmı¸s, böylece sistemin ˘ farklı marka ve modellerde dahi güvenilirligini korudu ˘ gu kanıtlanmı¸stır. ˘ Sonuç olarak geli¸stirilen yapay zekâ destekli otomatik pi¸sirme sonlandırma sistemi, yalnızca kullanıcılara pratik ve güvenilir bir mutfak deneyimi sunmakla kalmamı¸s; aynı zamanda enerji verimliligi, gıda israfının önlenmesi, kullanıcı güvenli ˘ gi ve süreç ˘ otomasyonu gibi toplumsal faydalar da saglamı¸stır. Tez kapsamında geli¸stirilen ˘ sistemin öne çıkan katkıları a¸sagıdaki gibi özetlenebilir: ˘ • Gıda israfını azaltma ve a¸sırı pi¸sme riskini ortadan kaldırma, • Kullanıcı tercihlerini ögrenerek ki¸siselle¸stirilmi¸s pi¸sirme deste ˘ gi sa ˘ glama, ˘ • Otomasyon sayesinde mutfakta zaman ve i¸s gücü tasarrufu sunma, • Enerji verimliligini artırarak sürdürülebilir mutfak sistemlerine katkıda bulunma, ˘ • Akıllı mutfak sistemlerine entegrasyona uygun, ölçeklenebilir ve modüler bir altyapı geli¸stirme. Genel olarak bu tez, bilgisayarla görme ve derin ögrenme temelli modellerin mutfak ˘ teknolojilerine uygulanabilirligini ve etkinli ˘ gini kanıtlamı¸s; önerilen sistemin yalnızca ˘ akademik bir ara¸stırma ürünü degil, aynı zamanda endüstriyel ölçekte ticarile¸stirilebilir ˘ bir çözüm olabilecegini ortaya koymu¸stur. Ayrıca, sürdürülebilirlik perspektifinden ˘ bakıldıgında, enerji tüketimini azaltması ve gıda israfını önlemesiyle hem çevresel hem ˘ de toplumsal açıdan önemli katkılar sunmu¸stur. Bu yönleriyle tez, gelecek nesil akıllı mutfak sistemleri için öncü bir adım niteligindedir. ˘ Ek olarak, bu tez yalnızca teknik bir çözüm sunmakla kalmamı¸s, aynı zamanda bilgisayarla görme ve yapay zekâ tekniklerinin farklı veri türlerini bütünle¸stirme potansiyelini de ortaya koymu¸stur. Görsel ve sayısal verilerin birlikte i¸slenmesi, mutfak dı¸sındaki alanlarda da uygulanabilirligi yüksek bir yakla¸sım olarak de ˘ gerlendirilebilir. Örne ˘ gin, ˘ endüstriyel gıda üretim hatlarında kalite kontrol süreçleri, tarımsal ürünlerin hasat olgunlugunun belirlenmesi veya sa ˘ glık sektöründe medikal görüntülerin zaman serisi ˘ analizi gibi farklı alanlarda bu çalı¸smada geli¸stirilen metodolojinin uyarlanabilecegi˘ öngörülmektedir. Bu çok yönlü katkı, çalı¸smanın akademik önemini yalnızca gıda teknolojileriyle sınırlı bırakmayıp daha geni¸s bir ara¸stırma alanına yaymaktadır. Bunun yanı sıra, sistemin ticarile¸stirilmesi ve akıllı ev teknolojileriyle entegrasyonu da gelecekteki önemli adımlar arasında yer almaktadır. Kullanıcı dostu bir arayüz ile desteklenen ve mobil uygulamalar aracılıgıyla uzaktan kontrol edilebilen bir ˘ versiyon, mutfak otomasyonunu daha da ileri bir noktaya ta¸sıyabilir. Ayrıca, ki¸sisel veri analitigiyle kullanıcı tercihlerini ö ˘ grenen ve pi¸sirme önerilerini ki¸siselle¸stiren ˘ geli¸stirmeler, sistemin günlük ya¸samda daha da yaygın ¸sekilde benimsenmesine olanak saglayacaktır. Bu vizyon, yalnızca teknolojik bir yenili ˘ gi de ˘ gil, aynı zamanda ˘ kullanıcı alı¸skanlıklarını dönü¸stüren, gelecegin akıllı mutfak kültürünü ¸sekillendiren ˘ bir paradigma kaymasını da beraberinde getirecektir.

Özet (Çeviri)

This thesis presents the design and implementation of an artificial intelligence-based cooking termination system that aims to detect the ideal doneness level of food in real time and automatically stop the cooking process. The system addresses common problems such as overcooking and food waste, while enhancing convenience in smart kitchen environments. The core objective of this study is to integrate deep learning and computer vision techniques into a smart oven prototype equipped with a built-in camera. The model processes both visual data captured during the cooking process and synchronized numerical features such as oven temperature and elapsed time. A hybrid neural network architecture is proposed, combining convolutional layers for spatial feature extraction with Long Short-Term Memory (LSTM) layers to capture temporal patterns in food transformation. To train the model, a rich dataset was collected using five popular food types: fresh pizza, frozen pizza, tray pastry, mini pastry, and salmon. High-resolution images were recorded at 30-second intervals during cooking. These images were systematically labeled using a continuous scale ranging from 0 (raw) to 1 (ideally cooked), based on expert assessment. The use of a non-binary, exponential labeling function allowed the model to learn the gradual transition of food during cooking, rather than discrete classifications. The model accepts two synchronized input streams: sequences of raw images and numeric values derived from both image processing (e.g., color change) and sensor readings. The architecture features a dual-branch design: one for visual processing and another for numeric processing, which are later fused to output a single doneness score. Predictions close to 1.0 are interpreted as optimal cooking completion. To evaluate the system, the model was tested on both laboratory and real-world cooking scenarios. Results showed that it performs robustly across different food types and cooking conditions. Quantitative evaluations were conducted using Mean Squared Error (MSE) and Mean Absolute Error (MAE), supported by scatter plots to visualize model behavior across the full doneness range and around critical thresholds. The proposed system demonstrates significant potential to contribute to the field of smart home appliances. It reduces food waste, supports user-specific doneness preferences, enhances automation in the kitchen, and contributes to energy efficiency. The integration of visual learning into cooking appliances represents a forward step toward intelligent, responsive, and sustainable kitchen systems.

Benzer Tezler

  1. Tez No

    960521

    Dejeneratif omurga hastalıklarının sınıflandırılması için docker konteynerleri tabanlı multimodal derin öğrenme yaklaşımları

    Docker-based multimodal deep learning approaches for the classification of degenerative spinal diseases

    HASAN YİĞİT

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Mühendislik BilimleriMuğla Sıtkı Koçman Üniversitesi

    Yapay Zeka Ana Bilim Dalı

    DOÇ. DR. İBRAHİM ÖNDER YENİÇERİ

  2. Tez No

    1021020

    Machine learning applications for optimization and traceability in the coffee supply chain

    Kahve tedarik zincirinde optimizasyon ve izlenebilirlik için makine öğrenimi uygulamaları

    FARAZ GHOLAMZADEH GHAREHGHESHLAGHI

    Yüksek Lisans

    İngilizce

    İngilizce

    2026

    Endüstri ve Endüstri MühendisliğiAnkara Yıldırım Beyazıt Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DOÇ. DR. GERÇEK BUDAK

  3. Tez No

    887331

    Predictive error compensated wavelet neural networks framework for time series prediction

    Zaman serisi tahmini için hata tazminli dalgacık dönüşümlü sinir ağları çerçeve yazılımı

    SERKAN MACİT

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. BURAK BERK ÜSTÜNDAĞ

  4. Tez No

    987324

    AI-driven enhancement and risk detection in microwave systems

    Mikrodalga sistemlerde yapay zeka destekli iyileştirme ve risk tespiti

    İBRAHİM HALİL BAYAT

    Doktora

    İngilizce

    İngilizce

    2025

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. İBRAHİM AKDUMAN

    DR. ÖĞR. ÜYESİ SEMİH DOĞU

  5. Tez No

    666602

    Histopatolojik görüntülerde tümör bölütlenmesi

    Tumor segmentation in histopathological images

    ZEHRA BOZDAĞ

    Doktora

    Türkçe

    Türkçe

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MUHAMMED FATİH TALU

Geri Dön