Xenforo Standart Robots.txt Dosyası Nasıl Olmalıdır?

uydudoktoru

Tanınmış Üye
Yönetici
Yönetici
Bildiğiniz üzere robots.xt dosyası botlara sınırlama getirmenizi sağlıyor Xenforo da standart robots.txt dosyası aşağıdaki şekilde olmalıdır.Siz kendi gereksinimlerinize göre ekleme veya çıkarmalar yapabilirsiniz.

Kod:
User-agent: Yandex
Crawl-delay: 2

User-agent: Mediapartners-Google*
Disallow:

User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-video
Disallow: /

User-agent: Baiduspider-image
Disallow: /

User-agent: *
Disallow: /admin.php
Disallow: /account/
Disallow: /attachments/
Disallow: /conversations/
Disallow: /find-new/
Disallow: /goto/
Disallow: /login/
Disallow: /register/
Disallow: /search/
Allow: /

Sitemap: http://www.siteadresi.com/sitemap.php
 
Geri
Yukarı