Robots.txt Rehberi: Başlangıçtan İleri Seviyeye Tam Kılavuz

#webdev #turkish #programming

Robots.txt Nedir?

Robots.txt, web sitelerinin kök dizininde bulunan ve arama motoru tarayıcılarına (botlarına) hangi sayfaların taranabilmesi gerektiğini belirtmek için kullanılan bir metin dosyasıdır.