Ajuta motoarele de cautare sa gaseasca fisierul robots.txt

De multe ori un motor de cautare va cauta instructiunile din robots.txt pentru a vedea ce are voie si ce nu are voie sa indexeze.

Dar ce se intampla uneori?

In loc ca motorul de cautare sa ia fisierul robots.txt din parintele principal al unui site il cauta in alte directoare in care nu are ce cauta.

Ce poti face daca vrei ca motorul de cautare sa gaseasca acest fisier indiferent de situatie? Poti sa adaugi in htacces urmatoarele linii de cod:

RewriteBase /
 RewriteCond %{REQUEST_URI} !^/robots.txt$ [NC]
 RewriteCond %{REQUEST_URI} robots\.txt [NC]
 RewriteRule .* https://domeniu.com/robots.txt [R=301,L]