Robots.txt: Tarihçesi ve Gelişimi
Robots.txt dosyası, web tarayıcılarının ve arama motorlarının bir web sitesindeki sayfaları nasıl tarayacağına dair bilgileri içeren bir metin dosyasıdır. İlk olarak 1994 yılında web geliştiricisi Martijn Koster tarafından oluşturulmuştur.
📌 Kaynak: ForumWeb.net - Web Geliştirme Topluluğu
Top comments (0)