The development of mod_antiCrawl: An anti crawler add-on module for apache web servers
mod_antiCrawl: Apache web sunucusu için internet robotu engelleyici eklenti modülü geliştirilmesi
- Tez No: 301666
- Danışmanlar: PROF. DR. M. UFUK ÇAĞLAYAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mühendislik Bilimleri, Computer Engineering and Computer Science and Control, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2012
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
İngilizcede crawler diye adlandırılan İnternet Robotu yazılımları bir web sayfasındaki tüm bağlantıları gezerek bu sitenin haritasını çıkartan otomatikleştirilmiş yazılımlardır. Bir web sitesinin haritasının çıkartılması, o siteye yapılacak bir saldırı için temel teşkil edeceğinden otomatikleştirilmiş saldırılar için büyük önem taşımaktadır. Bu yüzdendir ki otomatik web açıklık tarayıcılarının hepsi, taramaya başlamadan önce mutlaka sitenin haritasını çıkartmak için bağlantı keşfi işlemi (crawling) gerçekleştirir. İnternet robotları, otomatik web açıklık taramalarına temel olmak dışında, içerik hırsızlığı için de sıkça kullanılmaktadır. Otomatikleştirilmiş bir şekilde bir sitenin tüm içeriğinin sayfa sayfa gezilerek başka bir web sitesine kopyalanması konusunda internet robotları büyük rol oynamaktadır.Bu tezde web sunucular için internet robotlarına karşı bağlantı keşfi önleyici yöntemleri içeren internet robotu engelleyici modülü geliştirilmiştir. mod_antiCrawl C dili ve Apache API'si kullanılarak yazılmış bir Apache modülüdür. mod_antiCrawl'ın internet robotu yakalama ve engelleme yetenekleri sayesinde sunucular, zararlı robot yazılımlardan korunmaktadır. Yapılan performans değerlendirme ölçümlerinde, modül aktif konuma getirildikten sonra internet robotlarının elde edebildikleri bulgu sayısında en az %70'lik bir düşüş sağlandığı görülmüştür. Bu oran mod_antiCrawl içerisindeki internet robotı karakteristiğine daha uygun fonskiyonların da yardımıyla %90 seviyesine çıkabilmektedir.
Özet (Çeviri)
A web crawler can be defined as automated software that extracts website maps by visiting all the links in a website. Website map extraction process can be used to build a basis for a web attack. Hence, crawling plays an important role in automated attacks. The most automated vulnerability scanners perform crawling before vulnerability tests in order to determine overall map and attack surface. Besides automated scanning features, crawlers can also be used for content theft. By utilising a crawler, one can copy all the pages and content of a website by visiting all pages in an orderly manner.Anti-crawling can be defined as a set of mechanisms that prevents websites from being crawled by automated crawlers. In this thesis, a set of anti-crawling mechanisms are combined into an Apache web server module called mod_antiCrawl. mod_antiCrawl is developed in C language by using Apache API and it has crawler detection and inhibition capabilities to protect servers from malicious crawlers. The performance of mod_antiCrawl has also been studied and our results show that website map discovery by crawlers decreases at least 70% after mod_antiCrawl is activated. This ratio increases to 90% by enabling different functionalities of the module.
Benzer Tezler
- Nesnelerin internetinde görüntü şifreleme için kaos tabanlı yeni bir yaklaşım geliştirilmesi
Development of a novel chaos-based approach for image encryption in the internet of things
MUHAMMED SAADETDİN KAYA
Doktora
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. KENAN İNCE
- Yüksek performanslı betonlarda lif oranı ve kesme açısının betonun mod II kesme davranışına etkisi
Effect of volume fraction of fiber and shear plane on the mod II shear behavior of high-performance concrete
YOUSRA ABDULKAREEM MUSTAFA MUSTAFA
Yüksek Lisans
Türkçe
2023
İnşaat MühendisliğiGazi Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. ABDUSSAMET ARSLAN
- The role of human resource management strategies and innovation management in improving employee and organizational performance: A case of investment board in North Iraq
İnsan kaynakları yönetim stratejileri ve inovasyon yönetiminin çalışan ve organizasyon performansının geliştirilmesinde rolü: Kuzey Irak'ta yatırım kurulu örneği
ZANDİ JABBAR AZEEZ
- Uncertainty models for vector based functional curves and assessing the reliability of G-Band
Vektör tabanlı fonksiyonel eğriler için belirsizlik modelleri ve G-Band'ın güvenilirliğinin değerlendirilmesi
AHMET KÜRŞAT KURTAR
Yüksek Lisans
İngilizce
2006
CoğrafyaOrta Doğu Teknik ÜniversitesiCoğrafya Ana Bilim Dalı
DOÇ. DR. ŞEBNEM DÜZGÜN
- Assessing the diffusion of nanotechnology in Turkey: A social network analysis approach
Türkiye' de nanoteknoloji yayılımının değerlendirilmesi: Bir sosyal ağ analizi yaklaşımı
HAMİD DERVİŞ
Doktora
İngilizce
2014
Bilgi ve Belge YönetimiHacettepe ÜniversitesiBilgi ve Belge Yönetimi Ana Bilim Dalı
PROF. DR. YAŞAR TONTA