robots.txt — простой текстовый файл1, который должен находиться в корневой директории сервера. Имя файла должно быть в нижнем регистре (ROBOTS.TXT, Robots.txt — неправильно). В файле содержатся записи, отделяемые одной или несколькими пустыми строками (разделяемыми CR, CRNL, NL или \r, \r\n, \n). Каждая запись, в свою очередь, состоит из строк следующего вида

Профессиональная киевская веб-студия создаст для Вас сайт любойсложности

имя_поля:[необязательные пробелы]значение[необязательные пробелы]

Поле является нечувствительным к регистру (case insensitive).

Каждая запись начинается одной или несколькими строками, где имя_поля=User-agent, после чего следует одна или несколько строк, где имя_поля=Disallow, имена полей, которые отличаются от двух указанных, игнорируются2.

Знак «#» означает, что пробелы перед ним и все символы до конца строки являются комментарием. Строки, содержащие только комментарий, игнорируются и не могут использоваться для разделения записей.
=
Элитная и экологически чистая загородная недвижимость коттеджные поселки подмосковья