Где должен находиться файл robots.txt на вашем сайте.

Ответ на этот вопрос довольно простой.

Robots.txt – должен находиться в корневой папке вашего сайта, к которой обращается сервер при вводе доменного имени.

Например, на моем хостинге все файлы сайта находятся в папке httpdocs на сервере.

Именно в нее я и должен размещать файл robots.txt.

Иногда эта папка может называться «public_html».

Если на вашем сайте несколько сайтов и для каждого из них создана своя папка, то robots.txt нужно размещать в папку для своего домена.

Имейте в виду, что для каждого сайта должен использоваться только один файл robots.txt.

И еще один момент: robots.txt должен быть написан в нижем регистре. Так Robots.txt или так ROBOTS.txt, писать нельзя. Файл будет проигнорирован поисковыми системами.