Bu iki fayl saytın axtarış sistemləri ilə danışdığı dildir. Hər ikisi kiçikdir, amma səhv qurulanda nəticə ağır olur: sayt tamamilə indeksdən çıxa bilər. Təcrübədə bir sətirlik səhv aylarla trafik itkisinə səbəb olur.

robots.txt nə edir və nə etmir

robots.txt botlara hansı ünvanları gəzməməyi bildirir. Vacib bir nüans var: bu, gizlətmə vasitəsi deyil. Fayl özü hər kəsə açıqdır və orada yazdığınız qovluqların siyahısını istənilən adam görə bilər.

İkinci nüans: robots.txt-də bağlanan səhifə yenə də axtarış nəticələrində görünə bilər, çünki başqa saytlar ona link verirsə, Google onun mövcudluğunu bilir. Səhifəni nəticələrdən tam çıxarmaq üçün robots.txt yox, səhifənin özündə noindex göstərişi lazımdır.

Ən təhlükəli səhv

Sayt hazırlanarkən çox vaxt bütün sayt botlardan bağlanır ki, yarımçıq versiya indeksə düşməsin. Sonra sayt işə salınır və bu sətri silmək unudulur. Nəticədə sayt aylarla axtarışda görünmür və heç kim səbəbi anlamır.

Yeni sayt işə salındıqdan sonra ilk yoxlanacaq yer robots.txt olmalıdır. Orada bütün saytı bağlayan qayda qalıbsa, dərhal silin.

Nəyi bağlamaq məntiqlidir

Adi sayt üçün bağlanmalı olanlar azdır: idarə paneli, daxili axtarış nəticələri, səbət və ödəniş səhifələri, təkrarlanan filtr ünvanları. Bunlar axtarış üçün dəyər daşımır və botun vaxtını yeyir.

Bağlanmamalı olanlar isə vacibdir: CSS və JavaScript faylları. Google səhifəni istifadəçinin gördüyü kimi qurmaq üçün onları oxuyur. Bağlasanız, sayt Google üçün sınıq görünür və bu, sıralamaya zərər verir.

sitemap.xml nə üçündür

Sayt xəritəsi indekslənməsini istədiyiniz ünvanların siyahısıdır. Bot linkləri onsuz da izləyir, amma xəritə prosesi sürətləndirir və yeni səhifələrin tez tapılmasına kömək edir.

Xəritə xüsusilə bu hallarda faydalıdır: sayt böyükdür, yeni səhifələr tez-tez əlavə olunur, bəzi səhifələrə daxili link azdır.

Xəritədə tipik səhvlər

• Xəritədə silinmiş və 404 verən ünvanların qalması
• Yönləndirilən ünvanların siyahıda saxlanması, son ünvan yazılmalıdır
• Xəritədə noindex işarəli səhifələrin olması, bu, ziddiyyət yaradır
• Ünvanların http ilə yazılması, sayt isə https-dədir
• Xəritənin əl ilə hazırlanması və sonra heç vaxt yenilənməməsi

Sonuncu ən çox rast gəlinən haldır. Xəritə avtomatik yaranmalıdır. WordPress-də bunu SEO plaginləri edir, digər sistemlərdə isə adətən daxili funksiya var.

İkisini bir-birinə bağlamaq

robots.txt faylının sonunda sayt xəritəsinin tam ünvanını göstərmək düzgün təcrübədir. Belədə hər bot xəritəni avtomatik tapır. Bundan əlavə xəritəni Google Search Console-a əl ilə də əlavə edin, çünki orada indeksləmə statistikası görünür.

Necə yoxlamaq lazımdır

Hər iki faylı brauzerdə açın, ünvanları saytınızın kök ünvanına robots.txt və sitemap.xml əlavə etməklə. Görünürlərsə, birinci addım qaydasındadır.

Sonra Search Console-da robots.txt yoxlayıcısından istifadə edin: konkret ünvanı yazıb bağlı olub-olmadığını görün. Xəritə üçün isə göndərilmiş və indekslənmiş ünvan sayına baxın. Böyük fərq varsa, səbəbi araşdırmaq lazımdır.

Yekun

Bu iki fayl sadədir, amma diqqət tələb edir. Qayda belədir: robots.txt-də mümkün qədər az şey bağlayın, sitemap.xml-i avtomatik yaradın və hər ikisini sayt işə düşəndən sonra mütləq yoxlayın. Beş dəqiqəlik yoxlama aylarla itirilmiş trafikin qarşısını alır.