1. Bu site çerez kullanmaktadır. Siteyi kullanmaya devam etmeniz halinde çerez kullanımı ile ilgili site koşullarını kabul etmiş sayılırsınız. Daha Fazlasını Öğren.

Xenforo Standart Robots.txt Dosyası Nasıl Olmalıdır?

Konusu 'XenForo' forumundadır ve uydudoktoru tarafından 2 Eylül 2016 başlatılmıştır.

  1. uydudoktoru
    Offline

    uydudoktoru Tanınmış Üye Yönetici Yönetici

    Katılım:
    13 Haziran 2009
    Mesajlar:
    2.135
    Ödül Puanları:
    38
    Bildiğiniz üzere robots.xt dosyası botlara sınırlama getirmenizi sağlıyor Xenforo da standart robots.txt dosyası aşağıdaki şekilde olmalıdır.Siz kendi gereksinimlerinize göre ekleme veya çıkarmalar yapabilirsiniz.

    Kod:
    User-agent: Yandex
    Crawl-delay: 2
    
    User-agent: Mediapartners-Google*
    Disallow:
    
    User-agent: Baiduspider
    Disallow: /
    
    User-agent: Baiduspider-video
    Disallow: /
    
    User-agent: Baiduspider-image
    Disallow: /
    
    User-agent: *
    Disallow: /admin.php
    Disallow: /account/
    Disallow: /attachments/
    Disallow: /conversations/
    Disallow: /find-new/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /register/
    Disallow: /search/
    Allow: /
    
    Sitemap: http://www.siteadresi.com/sitemap.php
     

Sayfayı Paylaş