robots.txt
Tanım
robots.txt, bir sitenin kökünde duran ve tarayıcılara hangi yolları çekip çekemeyeceklerini söyleyen düz bir metin dosyasıdır. Dizine eklemeyi değil taramayı denetler: engellenen bir sayfa, başka siteler ona bağlantı veriyorsa yine de sonuçlarda çıkabilir; bu yüzden bir sayfayı dışarıda tutmak için noindex etiketi gerekir. Mağazalar bunu sepet, ödeme, hesap ve site içi arama sayfalarını tarama bütçesinin dışında tutmak için kullanır.
Mağazanız için neden önemli
Tarayıcıların site başına bir bütçesi vardır. Bunu on bin filtre kombinasyonuna, sepet sayfalarına ve arama sonucu sayfalarına harcamak, ürün sayfalarının daha seyrek taranması demektir. robots.txt, bütçeyi önemli olana yöneltmek için ilk araçtır.
Aynı zamanda sık rastlanan bir kaza kaynağıdır. Bir hazırlık ortamından kopyalanan tek bir Disallow satırı, bir mağazanın tamamını aramadan gizleyebilir. Tersi hata, yani bir test sitesini açık bırakmak da test adresinin dizine eklenip gerçek adresle yarışmasına yol açar. Dosya elle düzenlenmek yerine mağazanın durumundan üretildiğinde ikisi de önlenebilir.
Bu dosya artık sitelerin yapay zekâ tarayıcıları konusundaki tutumlarını da bildirdiği yerdir.
Kambloo bunu nasıl ele alıyor
robots.txt bir dosya olarak saklanmaz; mağaza ve alan adı bazında üretilir. kambloo.com adresindeki test mağazaları her zaman tam bir Disallow alır; buna ek olarak her yanıtta bir noindex başlığı ve meta etiketi bulunur ve bu, mağaza tarafından kapatılamaz. Özel alan adı doğrulandığında yayındaki alan adı otomatik olarak açık bir politika alır: sepet, ödeme, hesap, arama ve yönetim yolları dışında her şeye izin verilir ve site haritasının konumu eklenir. SEO ayarlarından kendi kurallarınızı ekleyebilirsiniz.
Başlıca yapay zekâ tarayıcılarına (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot) yayındaki mağazalarda varsayılan olarak izin verilir; çünkü anılmak isteyen bir mağazanın onları içeri alması gerekir. Her mağazanın bunları reddedecek bir anahtarı vardır.
robots.txt hakkında sorular
Bir sayfayı robots.txt ile engellemek onu Google'dan kaldırır mı?
Hayır. Google'ın sayfayı çekmesini durdurur; ancak URL, başka yerlerdeki bağlantılardan yine de dizine eklenebilir. Bir sayfayı sonuçlardan uzak tutmak için taramaya izin verip noindex etiketi ekleyin ya da hem noindex başlığını hem de engeli birlikte kullanın.
robots.txt ile yapay zekâ tarayıcılarını engellemeli miyim?
Yalnızca ürünlerinizin yapay zekâ yanıtlarında anılmasını istemiyorsanız. Kambloo, yayındaki mağazalarda başlıca yapay zekâ tarayıcılarına varsayılan olarak izin verir ve her mağazaya onları engelleyecek bir anahtar sunar.