Robot.txt Komutları ve Anlamları

Konusu 'XenForo' forumundadır ve guclusat tarafından 5 Ocak 2019 başlatılmıştır.

  1. guclusat
    Online

    guclusat Tanınmış Üye Süper Moderatör

    Katılım:
    14 Haziran 2009
    Mesajlar:
    10.489
    Ödül Puanları:
    48
    User-agent: Google Botu’nun adı gelecek
    Disallow: Botun izinlerini gireceğimiz komutlar yer alacak

    Robot.txt Komutları ve Anlamları

    User-agent: ilgili botun adını belirler
    User-agent: DeepCrawl #Burada boot adı DeepCrawl
    User-agent: * #* Tüm borları kapsaması anlamına gelir.
    Crawl-delay: Verilerin çekilmesi için zaman aralığı belirler.
    Crawl-delay: 60 #Bu alanda ilgili bota 60 saniye aralıklar ile veri çekim komutu verilmiştir.
    Request-rate: Verilerin çekimini oranlılar.
    Request-rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri çeker
    Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
    Visit-time:
    Ziyaret zamanlarını belirler
    Visit-time: 0800-1145 # saat 08.00 ile 11.45 Saatleri arasında ziyaret talep edilmiştir.
    Allow: Verilerin çekmek için izin verir.
    Allow: /dosya/dosyaadı .html #Bu dosyadan,sayfadan verilerin çekilmesine izin verilmiştir.
    Allow: /dosya/ #Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.

    Disallow: Verilerin çekilmesini engeller.
    Disallow:/dosya/dosyaadı.html #Bu dosyadan,sayfadan veri çekilmesi engellenmiştir.
    Disallow:/dosya/ #Bu dosyadan, sayfadan ve içerisindeki tüm alanlardan, sayfalardan veri çekilmesi engellenmiştir.
     
Yüklüyor...
Benzer Konular - Robot txt Komutları
  1. uydudoktoru
    Mesaj:
    0
    Görüntüleme:
    368
  2. guclusat
    Mesaj:
    0
    Görüntüleme:
    730
  3. uydudoktoru

    Robots 1.0

    uydudoktoru, 10 Şubat 2015, Paylaşıldığı Yer: XenForo
    Mesaj:
    0
    Görüntüleme:
    298

Sayfayı Paylaş

  1. Bu site çerez kullanmaktadır. Siteyi kullanmaya devam etmeniz halinde çerez kullanımı ile ilgili site koşullarını kabul etmiş sayılırsınız.
    Notu Gizle
  1. Bu site çerez kullanmaktadır. Siteyi kullanmaya devam etmeniz halinde çerez kullanımı ile ilgili site koşullarını kabul etmiş sayılırsınız.
    Notu Gizle