Înainte să începi să faci jonglerii cu toate keyword-urile pe care le-ai găsit utilizând ghidul acesta, hai să discutăm despre ceva ce mulți evită să-ți zică pe șleau: fișierul robots.txt. Ești gata să înveți ceva ce ar putea schimba total modul în care îți gestionezi site-ul? Bun, pentru că fix despre asta vorbim aici.
Cuprins
Ce este Robots.txt?
Robots.txt este un fișier mic, dar cu un impact mare. E acel portar care decide ce pagini din site-ul tău sunt vizitate de motoarele de căutare și ce rămâne în umbră. Gândește-te un pic: dacă poți controla ce vede Google, nu ți-ar plăcea să faci asta? Bineînțeles că da, și tocmai de aceea trebuie să știi cum să-l folosești în avantajul tău.
De unde vine și de ce contează?
Acum hai să facem un pas înapoi în timp. Știu, poate nu ești mare fan al istoriei, dar crede-mă, asta e important. În anii ’90, când internetul era abia la început și nimeni nu se gândea încă la SEO, cineva s-a prins că trebuie să existe o metodă prin care să poți controla ce pagini de pe site-ul tău sunt accesate de motoarele de căutare. Așa a apărut robots.txt.
Fișierul a fost creat în 1994 de Martijn Koster, unul dintre pionierii web-ului, care și-a dat seama că fără un astfel de mecanism, roboții ar putea să acceseze și să indexeze părți din site-uri care nu ar trebui să fie văzute public. Și de atunci, robots.txt a devenit o unealtă crucială în orice strategie SEO. Dacă vrei să te asiguri că doar conținutul pe care vrei să-l vadă Google ajunge pe radarul lui, robots.txt este cheia.
Cum funcționează robots.txt?
Acum că știi ce este și de unde vine robots.txt, hai să vedem cum funcționează. Este mai simplu decât crezi. Practic, îi dai roboților niște reguli clare: „aici ai voie, aici nu ai voie.” Sună simplu, dar dacă nu faci asta cum trebuie, poți da peste cap toată treaba.
User-agent: Roboții ascultători
Aici îi spui robotului despre care vorbim. Vrei să vorbești doar cu Googlebot? Atunci zici așa:
User-agent: Googlebot
Vrei să vorbești cu toți roboții care îți vizitează site-ul? Zici asta:
User-agent: *
Disallow: Aici nu ai voie!
Vrei să blochezi accesul la paginile de administrare sau la paginile care nu contează pentru SEO? Directiva Disallow face asta:
User-agent: *
Disallow: /admin/Dacă ai nevoie ca toți roboții să stea departe de tot site-ul pentru că ești în construcție, poți să faci asta:
User-agent: *
Disallow: /Allow: Excepțiile care confirmă regula
Ai blocat un întreg director, dar vrei să lași accesul la un singur fișier din el? Faci așa:
User-agent: *
Disallow: /private/
Allow: /private/public-info.htmlSitemap: GPS-ul roboților
Vrei ca roboții să găsească ușor toate paginile importante? Pune link-ul către sitemap-ul (harta) site-ului:
Sitemap: https://www.exemplu.com/sitemap.xml
Exemple de roboți ai motoarelor de căutare populare:
| User-agent | Motor de căutare |
|---|---|
| Googlebot | |
| Googlebot-Image | |
| Googlebot-Mobile | |
| Googlebot-News | |
| Googlebot-Video | |
| Bingbot | Microsoft Bing |
| msnbot-media | Microsoft Bing (Images & Video) |
| Slurp | Yahoo |
| DuckDuckBot | DuckDuckGo |
| Baiduspider | Baidu |
| YandexBot | Yandex |
| Sogou web spider | Sogou |
| Exabot | Exalead |
| ia_archiver | Amazon Alexa |
Exemplu comun de robots.txt
Hai să considerăm ca domeniul tău este domeniu.ro și folosești WordPress (dacă folosești altceva, link-ul de admin e diferit). O variantă comună ar fi:
User-agent: *
Disallow: /wp-admin/
Sitemap: https://domeniu.ro/sitemap_index.xmlCum să creezi și să optimizezi un fișier robots.txt
Pasul 1: Fă-l simplu și eficient
Crearea unui fișier robots.txt nu necesită un doctorat în programare. Tot ce-ți trebuie este un editor de text. Scrie directivele, salvează fișierul cu numele „robots.txt” și ai terminat. Dar nu te grăbi! Câteva secunde în plus pentru a verifica ce ai scris pot salva ore de muncă.
Pasul 2: Blochează ce nu trebuie indexat
Ai pagini pe care nu vrei ca Google să le vadă? Poate pagini de testare sau conținut duplicat. Asigură-te că le blochezi folosind Disallow.
Pasul 3: Permite excepțiile și adaugă harta site-ului
Dacă vrei ca un fișier dintr-o zonă blocată să fie accesibil, folosește Allow. Iar harta site-ului (sitemap) trebuie să fie mereu inclusă pentru a face viața mai ușoară roboților de căutare.
Pasul 4: Testează ca să nu dai greș
După ce ai făcut toate modificările, nu te culca pe o ureche. Testează fișierul folosind unelte ca Google Search Console și asigură-te că funcționează cum trebuie.
În cazul în care ai greșit ceva, vei avea erori in Google Search Console și nu va mai fi așa de plăcut să gestionezi un site.
Cele mai frecvente greșeli în utilizarea robots.txt
Blochezi din greșeală pagini importante: cea mai mare greșeală pe care o poți face este să blochezi pagini care aduc trafic. Nu face asta, altfel o să te întrebi de ce nu mai apare site-ul tău în rezultate.
Uiți să-l actualizezi: schimbi ceva pe site, dar uiți să actualizezi robots.txt. Acum ai o problemă. Fișierul vechi îți poate afecta site-ul, așa că pune-l la zi ori de câte ori faci modificări importante.
Nu incluzi sitemapul: ești gata să pleci și ai uitat harta? Mare greșeală! Fără sitemap, motoarele de căutare ar putea rata pagini importante. Asigură-te că ai inclus-o în robots.txt.
Nu toate motoarele de căutare îți permit să adaugi sitemap-ul printr-un cont cum e cel de Google Search Console sau Bing Webmaster Tools.
Cazuri speciale și soluții avansate
Conținut duplicat? Robots.txt te salvează
Dacă ai pagini duplicate, e timpul să le blochezi. Nu vrei ca Google să se chinuie să înțeleagă care dintre ele e importantă. Folosește robots.txt pentru a le spune clar ce să ignore.
Blochează resursele inutile
Ai fișiere CSS sau JS care nu trebuie indexate? Blochează-le! Dar fii atent, pentru că uneori, dacă blochezi resursele greșite, s-ar putea să afectezi modul în care Google vede site-ul tău.
Site-uri mari? Robots.txt este prietenul tău
Ai un site cu mii de pagini? Atunci fișierul robots.txt devine și mai important. Controlează indexarea și asigură-te că roboții nu se pierd în paginile irelevante.
Impactul robots.txt asupra site-ului tău
Dacă nu ai un robots.txt, Google (sau alt bot) va presupune că poate face ce vrea pe site-ul tău. Asta înseamnă că s-ar putea să indexeze pagini care n-ar trebui să fie acolo. Ești gata să riști asta?
Un robots.txt configurat corect îți poate îmbunătății indirect clasarea în SERP. De ce? Pentru că va ajuta Google să găsească doar ce e important și să ignore restul.
Dar să nu uiți că el este util, atât timp cât îl ai actualizat.