Web sunucu loglarının web madenciliği yöntemleri ile analizi
The analysis of web server logs with web mining methods
- Tez No: 463771
- Danışmanlar: DOÇ. DR. HALİT ERAY ÇELİK
- Tez Türü: Yüksek Lisans
- Konular: İstatistik, Statistics
- Anahtar Kelimeler: Büyük veri, Hadoop, Hive, Veri madenciliği, Web loglarının analizi, Web madenciliği, Data mining, Hadoop, Hive, The analysis of web logs, Web mining
- Yıl: 2017
- Dil: Türkçe
- Üniversite: Yüzüncü Yıl Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: İstatistik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bir web sayfasında gezinirken ziyaretçinin yaptığı tüm işlemler aslında web sunucusu üzerinde erişim ve hata kayıt dosyalarında tutulmaktadır. Zamanla bütün erişim ve hata kayıtlarının tutulduğu dosyalar, yüksek boyutlara ulaştığı için web sunucusunu yöneten kişiler tarafından silinmektedir. Ancak incelenmeden silinen bu dosyalardaki veriler doğru yöntemlerle incelendiğinde birçok istatistiksel sonuç elde edileceği gibi web sayfasının etkin kullanımı için iyileştirme yapmak, güvenlik önlemleri almak, web sunucusuna gelen siber saldırıları tespit etmek de mümkün olabilmektedir. Bu çalışmada web sunucuları üzerindeki erişim logları web madenciliği yöntemleri ile incelenip, web sayfalarının daha etkin kullanımı ve düzenlenmesi için çeşitli sonuçlar çıkarılmıştır. Web sunucu logları Web Madenciliği yöntemleri ile incelendiğinde, erişim loglarının tamamının incelenmesi gerekmektedir. Web erişim logları zamanla çok büyük veriler haline geldiğinden bu çalışmada büyük verileri, farklı bir dosya sistemi ve farklı metodlarla inceleyen Apache Hadoop sistemi kullanılmıştır. Apache Hadoop üzerindeki verilerin daha kolay ve etkin bir şekilde incelenmesi amacıyla, büyük veriler için tasarlanmış Apache Hive sorgulama dili kullanılarak, tez çalışması kapsamında Web Sunucu erişim loglarının silinmeden önce bu loglardan birçok anlamlı ve yararlı sonuç çıkarılmasına olanak sağlanmıştır.
Özet (Çeviri)
While surfing on a website, all the actions taken by the visitors are actually recorded on web server in the error and access files. In process of time, the files recording all the access and error entries are deleted by the people who are the management of web servers by reason of their reaching high sizes. However; when these inputs deleted without checking out are checked out with correct methods, it not only gets statistical inferences but also it is possible to make improvements on website for its efficient usage, taking security measures, identifying cyber-attacks to the website. In this work, the conclusions are drawn to check out access logs on web servers with web mining methods, for more efficient usage of web sites and its formatting. When the web servers are checked out with web mining methods, it is crucial to check out all the access logs. As the web access logs becomes big data in time, Apache Hadoop System which checks out big data with a different file system and methods is used in this paper. Apache Hive query language designed for Big Data is used so as to check out the data more easily and efficiently on Apache Hadoop. Within the context of thesis study, the opportunities are provided to draw significant and useful conclusions from access logs before they are deleted.
Benzer Tezler
- Veri merkezi katmanlı güvenlik tasarımı ile etkin olay analizi ve yönetimi
Efficient event analysis and management with data center layered security design
ALİ AKPINAR
Yüksek Lisans
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKırşehir Ahi Evran Üniversitesiİleri Teknolojiler Ana Bilim Dalı
DOÇ. DR. MUSTAFA YAĞCI
- Gömülü web sunucu tabanlı uzaktan erişimli çevresel şartları izleme ve kontrol sistemi tasarımı ve gerçekleştirilmesi
Design and realization of embedded web server based remote monitoring and control system for environmental conditions
MUSTAFA DİREK
Yüksek Lisans
Türkçe
2019
Elektrik ve Elektronik MühendisliğiSakarya Uygulamalı Bilimler ÜniversitesiElektrik-Elektronik Ana Bilim Dalı
PROF. DR. İHSAN PEHLİVAN
- Üç-sıralı istemci-sunucu mimarisinde Web servisleri kullanımı ve uygulaması
Application and using of Web services in the three-tier software architecture
YILDIRAY ANAGÜN
Yüksek Lisans
Türkçe
2007
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDumlupınar ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Y.DOÇ. AHMET ÖZMEN
- Personalization on the WEB: Desigin and tuplementation of the server site of the system
WEB kaynaklarının kişiselleştirilmesi: Sunucu tarafının tasarım ve geliştirilmesi
SİNAN BİLALOĞLU
Yüksek Lisans
İngilizce
2000
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. ASUMAN DOĞAÇ