Robots.txt Nedir? Nasıl Oluşturulur?

Robots.txt Nedir?

robots.txt yardımcı program dosyası, web sitenizi belirli (veya tüm) arama motoru botlarıyla dizine eklemek için kurallar içerir.

Robots.txt Dosyası Nasıl Oluşturulur?

Bir robox.txt dosyası oluşturmak istiyorsanız, alan adınızın kök dizinine erişiminiz olmalıdır. Barındırma sağlayıcınız, gerekli izinlere sahip olup olmadığınızı size söyleyebilir.

Dosyanın oluşturulması ve konumu, bunun en önemli yönleridir. Herhangi bir metin düzenleyiciyle bir robots.txt dosyası yazın ve şuraya kaydedin:

• Alan adınızın kökü: www.siteniz.com/robots.txt .
• Alt alan adlarınız: sayfa.siteniz.com/robots.txt.
• Standart olmayan bağlantı noktaları: www.siteniz.com:881/robots.txt.

 

Robots.txt Dosyasında Ne Olmalıdır?

Bir robots.txt dosyasının nelerden oluşması gerektiğine bir göz atalım:

Kullanıcı aracısı , aşağıdaki yönergelerin hangi arama motorlarına yönelik olduğunu belirtir.

* sembolü, talimatların tüm arama motorları tarafından kullanılmak üzere tasarlandığını belirtir.

Disallow : User agent disallow, kullanıcı aracılarına hangi içeriği göremediklerini söyleyen bir yönergedir.

/wp-admin/ , kullanıcı aracısının göremediği yoldur.

Özetle, robots.txt dosyası tüm arama motorlarına /wp-admin/ dizininden kaçınmaları talimatını verir.

Dizin Oluşturmayı Yönetmek Neden Önemlidir?

Çıplak HTML + CSS içeren bir web siteniz varsa, yani her sayfayı manuel olarak HTML'ye dönüştürüyorsanız, komut dosyaları ve veritabanları kullanmayın (100 sayfalık bir web sitesi, barındırmada 100 HTML dosyasıdır), o zaman bu makaleyi atlamanız yeterlidir. Bu tür web sitelerinde indekslemeyi yönetmeye gerek yoktur.

Ancak, birkaç sayfadan oluşan basit bir kartvizit web siteniz yok (bu tür web siteleri uzun süredir Wordpress/MODx ve diğerleri gibi CMS'de oluşturulmuş olsa da) ve herhangi bir CMS (programlama dilleri, komut dosyaları, veritabanı vb. anlamına gelir) ile çalışıyorsunuz. .) ) - o zaman aşağıdaki gibi "ziynetlerle" karşılaşacaksınız:

• Sayfa kopyaları;
• Çöp sayfalar;
• Kalitesiz sayfalar ve çok daha fazlası.

 

Asıl sorun, arama motoru dizininin, insanlara hiçbir fayda sağlamayan ve aramayı dolduran sayfalar gibi orada olmaması gereken bir şey almasıdır.

Robotun aynı anda tarayabileceği belirli sayıda sayfa olan tarama bütçesi gibi bir şey de var. Her site için ayrı ayrı belirlenir. Ortaya çıkan çöp yığını ile, yeterli tarama bütçesine sahip olmadıkları için sayfalar daha uzun süre dizine eklenebilir.

Robots.txt Dosyasında Neler Kapatılmalıdır?

Arama sayfaları. Bunları yönetip geliştirmeyecekseniz, indekslemeden kapatın.

• Alışveriş Sepeti.
• Teşekkürler ve ödeme sayfaları.
• Bazen sayfalama sayfalarını kapatmak mantıklıdır.
• Ürün karşılaştırmaları.
• Sıralama.
• Filtreleri optimize etmek ve denetlemek mümkün değilse.
• Etiketleri optimize edemiyorsanız ve denetleyemiyorsanız.
• Kayıt ve yetkilendirme sayfaları.
• Kişisel hesap.
• İstek listesi.
• Kullanıcı profilleri.
• Beslemeler.
• Yalnızca promosyon ve satış için oluşturulmuş çeşitli açılış sayfaları.
• Sistem dosyaları ve dizinleri.
• Optimize edilmemişlerse dil sürümleri.
• Yazdırılabilir sürümler.
• Boş sayfalar vb.

Kullanıcı için yararlı olmayan, tamamlanmamış, geliştirilmemiş veya kopya olan her şeyi kapatmanız gerekir.

Konuların %100'ünü tek seferde kapatamasanız bile geri kalanı indeksleme aşamasında kapatılacaktır.

Oluşabilecek tüm olumsuzlukları hemen tahmin edemezsiniz ve teknik sorunlar nedeniyle her zaman ortaya çıkmazlar. Bu durumda bir insan faktörünü hesaba katmanız gerekir.