admin
14 Temmuz 2023
İşte WordPress için bir robots.txt dosyası örneği:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /wp-content/uploads/
Disallow: /readme.html
Disallow: /license.txt
Sitemap: https://www.example.com/sitemap.xml
Bu örnek, bir WordPress sitesinin robots.txt dosyasını temsil etmektedir. Dosya, arama motoru botlarının siteyi tararken hangi alanlara erişebileceğini ve hangi alanlara erişemeyeceğini belirler.
User-agent: * ifadesi, tüm arama motoru botlarının aşağıdaki kural setini takip etmesi gerektiğini belirtir.
Disallow ifadeleri, botların belirli dizinlere ve dosyalara erişmesini yasaklar. Örnekte, wp-admin, wp-includes, wp-content/plugins, wp-content/themes, wp-login.php, xmlrpc.php, wp-content/uploads, readme.html ve license.txt dizinleri ve dosyaları yasaklanmıştır. Bu dizinler ve dosyalar, genellikle kullanıcılar için erişilemeyen veya arama motoru tarafından indekslenmesi istenmeyen içeriği içerir.
Sitemap ifadesi, site haritasının konumunu belirtir. Bu durumda, site haritası https://www.example.com/sitemap.xml adresinde bulunuyor. Bu, arama motorlarının site haritasını kolayca bulabilmesine ve siteyi daha iyi indekslemesine yardımcı olur.
Not: Robots.txt dosyası, bir arama motorunun siteye erişimini kontrol etmek için kullanılan bir yönergedir, ancak tamamen güvenilir değildir. Bazı arama motoru botları, robots.txt dosyasının belirlediği kuralları takip etmeyebilir veya bazı dizinlere erişmeyi deneyebilir. Bu nedenle, gizli veya hassas bilgileri içeren dizinleri veya dosyaları robots.txt dosyasıyla korumak yerine, ek güvenlik önlemleri almak önemlidir.