Tüm Ürünler
Search
Belge Merkezi

Web Application Firewall:Bot yönetimi ile AI tarayıcılarını kontrol etme

Son Güncelleme:Oct 05, 2026

AI tarayıcıları, AI aracıları ve AI arama botlarından gelen istekler için Web Application Firewall (WAF) bot yönetimindeki AI tarayıcısı kontrolü özelliğini kullanarak isteklere ilişkin genel bakış ve ayrıntılı verileri görüntüleyebilir, trafiği tek tıkla yönetebilirsiniz. Bu otomatik programlar web içeriğini sıkça model eğitimi, bilgi tabanı oluşturma ve AI uygulamalarını destekleme amacıyla kazır. Bu özellik, sunucu bant genişliğinizin aşırı tüketilmesini önlerken fikri mülkiyetinizi ve temel iş verilerinizi korumak amacıyla bu tür trafiği doğru şekilde tanımlamanıza ve yönetmenize yardımcı olur.

Temel kavramlar

  • AI tarayıcısı

    • Temel amaç: Büyük dil modeli eğitimi veya Retrieval-Augmented Generation (RAG) için derlem oluşturmak üzere site içeriğini toplu olarak kazımak.

    • Davranışsal özellikler: Geniş ölçekli ve kapsamlı veri kazıma işlemleri gerçekleştirir. Bu programlar genellikle istek üstbilgisinde özel bir User-Agent bildirir ve robots.txt protokolüne uyduklarını belirtir.

    • Geleneksel tarayıcılardan farkı: Kazınan içerik öncelikli olarak model eğitimi veya derlem oluşturma amacıyla kullanılır ve siteye doğrudan trafik sağlamaz.

    • Tipik örnekler: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended, CCBot (Common Crawl) ve Bytespider.

  • AI arama

    • Temel amaç: Kullanıcının gerçek zamanlı sorgusuna yanıt olarak siteden belirli içeriği almak ve bu içeriği oluşturulan yanıtta atıf kaynağı olarak kullanmak.

    • Davranışsal özellikler: Tek bir kullanıcı sorgusu tarafından tetiklenir; arka planda toplu kazıma yapmak yerine gerçek zamanlı, talep üzerine ve tek sayfa erişimi gerçekleştirir. Bu tür erişim genellikle oluşturulan yanıtta kaynak bağlantıları içerir ve siteye görünürlük ile yönlendirme değeri sağlar.

    • Tipik örnekler: OAI-SearchBot (OpenAI), PerplexityBot (Perplexity) ve Gemini-Deep-Research (Google).

  • AI ajanı

    • Temel amaç: Gerçek bir kullanıcı adına sitede belirli işlemler yürütmek; örneğin bilgi sorgulamak, fiyat karşılaştırmak, form doldurmak, oturum açmak veya sipariş vermek.

    • Davranışsal özellikler: Net niyete sahip etkileşimli davranışlar sergiler. İçeriği okumanın yanı sıra tıklama ve form gönderme dahil olmak üzere eksiksiz iş akışlarını yürütür. Bu programlar çoğunlukla gerçek bir tarayıcı ortamında çalışır ve erişim parmak izleri insan kullanıcılarınkine yakın biçimde taklit edilir. Tanımlanması en zor olan ve iş güvenliği riskleri açısından en yüksek tehdidi oluşturan erişim türüdür.

    • Tipik örnekler: ChatGPT-User (OpenAI), Claude-User (Anthropic) ve Computer-Use ya da tarayıcı otomasyon teknolojilerine dayanan çeşitli AI ajanları.

Yordam

Not

Aşağıdaki ön koşulları karşılayın:

  1. Korunan bir nesne eklendi: Web hizmetlerinizi WAF’e eklemeniz gerekir. Hizmetlerinizi henüz eklemediyseniz bkz. Onboarding overview.

  2. Bot yönetimi etkinleştirildi: Abonelik kullanıcılarının bot yönetimini etkinleştirmesi gerekir (Bu özellik Basic abonelik sürümünde desteklenmez). Ayrıntılar için bkz. Enable bot management.

Web Application Firewall 3.0 konsolu üzerinde oturum açın. Üst gezinme çubuğunda WAF örneğinizin kaynak grubunu ve bölgesini (Chinese Mainland veya Outside Chinese Mainland) seçin. Sol gezinme bölmesinde Protection Config > Bot Management > AI Crawler Management seçeneklerini belirleyin.

AI tarayıcısı isteği genel bakışı

AI Crawler Management sayfasında sistem Total AI Crawler Requests, Detected AI Crawlers ve Blocked AI Crawler Requests değerlerini gösterir. Sayfanın alt kısmında ayrıntılı bir veri listesi sunulur. Üstteki arama çubuğunu kullanarak Time, Protected object, Path ve AI category alanlarına göre filtreleme yapabilirsiniz.

Alanlar

  • Name: AI tarayıcısının veya ajanının belirli adı.

  • Category: AI türü; AI tarayıcısı, AI ajanı veya AI arama olabilir.

  • Requests ve Blocked Requests: Belirtilen dönemde AI’dan gelen toplam istek sayısı ve WAF tarafından engellenen istek sayısı.

  • Trend Graph: Zaman içindeki istek hacminin görselleştirilmesi.

  • Top Interfaces: En yüksek istek hacmine sahip erişim yolları (örneğin /index.php).

  • Protected Object: WAF’e eklenen korunan nesne.

AI tarayıcısı isteklerini yönetme

Varsayılan olarak WAF’te AI tarayıcısı isteklerine yönelik herhangi bir kural bulunmaz. Bu davranış iş gereksinimlerinizi karşılamıyorsa belirli AI isteklerini manuel olarak yönetebilirsiniz. Aşağıdaki adımları uygulayın:

  1. AI Crawler Management sayfasında sayfanın altındaki listede hedef AI adını bulun.

  2. Actions sütununda Log veya Block öğesine tıklayın.

    1. Log: İstekleri günlüğe kaydeder ancak trafiği engellemez.

    2. Block: İstekleri günlüğe kaydeder ve trafiği engeller.

WAF, seçiminize bağlı olarak ilgili bir Advanced Custom Rules şablonu ve kuralı otomatik olarak oluşturur. Bunları Advanced Custom Rules sayfasında görüntüleyebilirsiniz. Daha fazla bilgi için bkz. Configure advanced custom rules for bot management.

Yapılandırma önerileri

Farklı AI trafik türlerine farklı kontrol ilkeleri uygulayın. Tüm trafiği engellemek veya izin vermek için tek tip bir mekanizma kullanmaktan kaçının.

I. AI tarayıcısı kontrol ilkesi

  1. Yetkilendirme ve temel kontrolleri ayarlayın: Önce site içeriğinizin model eğitimi için kullanılmasına izin verilip verilmeyeceğini değerlendirin. Yetkilendirmeyi reddediyorsanız eğitim tarayıcılarını engelleyin veya hız sınırlaması uygulayın. Yetkilendirme veriyorsanız yüksek frekanslı kazımanın kaynak sunucu performansını etkilemesini önlemek için hız sınırlaması uygulayın.

  2. Kademeli kontrol uygulayın: İçeriği değerine göre farklı şekilde yönetin. Ana içerik ve ürün detay sayfaları gibi çekirdek sayfalar için sıkı kontroller uygulayın. Genel tanıtım sayfaları gibi genel içerikler için kısıtlamaları gevşetin.

II. AI arama kontrol ilkesi

  1. Varsayılan olarak izin verin ve izleyin: Çoğu site AI aramadan görünürlük ve alıntı değeri kazanmak ister. Bu trafiğe varsayılan olarak izin verin; ayrıca hız ve trafik izlemeyi yapılandırın.

  2. Ayrıntılı izin kontrolü kullanın: İçerik telif hakkı veya alıntı kapsamı konusunda endişeleriniz varsa belirli dizinler veya sayfalar için erişim kısıtlamaları belirleyin. Bu yaklaşım, genel içeriğin doğru şekilde alıntılanmasını sağlarken hassas içeriklerin sızmasını önler.

III. AI ajanı kontrol ilkesi

  1. İş güvenliği risk kontrolü ile entegre edin: Bu trafik en yüksek riski taşır. Yalnızca engellemek yerine bot yönetimi ile Web Protection/App Protection ve account security protection özelliklerini entegre edin.

  2. Anahtar işlemler için korumayı güçlendirin: Oturum açma, sipariş verme, kupon alma ve form gönderme gibi anahtar işlemler için hesap güvenliği koruması, hız sınırlaması ve CAPTCHA katmanları ekleyin. Bu yaklaşım, toplu kayıt, stok toplama ve kötü niyetli arbitraj gibi otomatik dolandırıcılığı önlemeye yardımcı olur ve meşru insan kullanıcıların deneyiminin etkilenmemesini sağlar.

IV. İlke uygulama ve dinamik ayarlama

İş ihtiyaçlarınıza göre yukarıdaki ilkeleri birleştirin. Öncelikle AI tarayıcısı kontrol sistemindeki trafik analizi ve istatistik raporlarını kullanın. Farklı AI trafik türlerinin bileşimini ve eğilimlerini sürekli olarak izleyin. Bu bilgilere dayanarak izin verme, hız sınırlama ve engelleme kurallarınızı kademeli olarak ayarlayın. Böylece içerik koruma, iş güvenliği ve trafik değeri arasında en iyi dengeyi bulabilirsiniz.