ЧТО НУЖНО ДЛЯ РЕГИСТРАЦИИ. - Информация, которую Вам необходимо написать для регистрации в рейтингах, поискоых системах и каталогах. Практические примеры, ограничения, стандарты написания МЕТА ТЭГов (META TAGS). Что нужно писать, правила оформления и сетевого этикета.

• Данный файл предназначен исключительно для поисковиков и указывает роботу, что он должен делать с теми или иными страницами (группами файлов) вашего сайта.
• Воспринимается одинаково всеми нормальными поисковыми машинами.
• Дложен находиться только в корневой директории вашего сайта!
• Название файла пишется в нижнем регистре.
• Первым делом робот ищет именно этот файл и если находит - дальнейшие инструкции выполняются в соответствии с указаниями в robots.txt.
  Вы можете запретить любым поисковым роботам или же роботам опрделенной системы индексировать определенные файлы и каталоги.
• Первой инструкцией в файле должна стоять User-agent, которая может принимать значения:
  Имя робота - определенной поисковой системы.
  * - для всех остальных, которые не были перечислены.
  Второй инструкцией идет Disallow, которая может принять значения:
  Имя файла, директории - которые не должны быть проиндексированы.
  Пустая - разрешить индексировать все.
  / - запрет к индексации всего содержимого.
• Примеры работы с инструкциями User-agent и Disallow.
  Пример 1:
  User-agent: * (для всех поисковиков)
  Disallow: / (запретить индексировать все страницы)
  Пример 2:
  User-agent: * (для всех поисковиков)
  Disallow: (разрешить индексировать все страницы)
  Пример 3:
  User-agent: StackRambler (для робота "StackRambler" поисковой системы Rambler)
  Disallow: (разрешить индексировать все страницы)
  Пример 4:
  User-agent: * (для всех поисковиков)
  Disallow: /doc (запретить индексировать все страницы имя которых начинается с "/doc" -
  "/doc.html", "/doc/library.htm", "/document.shtml", от корневого каталога).
  Пример 5:
  User-agent: * (для всех поисковиков)
  Disallow: /reklama.shtml (запретить индексировать страницу "reklama.shtml" в корневом каталоге сайта).
  Пример 6:
  User-agent: StackRambler (для робота "StackRambler" поисковой системы Rambler)
  Disallow: /promo/reklama.shtml (запретить индексировать страницу reklama.shtml в каталоге "/promo" сайта).
  Пример 7:
  User-agent: StackRambler (для робота "StackRambler" поисковой системы Rambler)
  Disallow: /cgi-bin/ (запретить индексировать каталог "/cgi-bin" полностью).
• После User-agent может находиться любое количество инструкций Disallow. Все они будут отнесены к тем роботам, которые перечислены в User-agent.
  Если Disallow не принадлежит конкретному User-agent - то будет проигнорирована.
• Примеры множественного применения Disallow к User-agent и возможные ошибки.
  Пример 1:
  User-agent: * (для всех поисковиков)
  Disallow: /cgi-bin/ (запретить индексировать директорию "/cgi-bin").
  Disallow: /doc/password.html (запретить индексировать файл "password.html" в директории "/doc").
  Пример 2:
  Disallow: /root/ (не принадлежит к конкретному User-agent и игнорируется роботом).
  User-agent: StackRambler (для робота "StackRambler" поисковой системы Rambler)
  Disallow: /conf (запретить индексировать файлы имя которых от корневого каталога начинается с "/conf").
  Disallow: /sys/ (запретить индексировать директорию "/sys").
• Все инструкции пишутся строго по одной в каждой строке. Разделять User-agent можно пустой строкой либо знаком #, после которого вы можете написать любой коментарий.
• Примеры написания файла robots.txt.
  # StackRambler robot
  User-agent: StackRambler (для робота "StackRambler" поисковой системы Rambler)
  Disallow: /cgi-bin/ (запретить индексировать директорию "/cgi-bin").
  Disallow: /sys/ (запретить индексировать директорию "/sys").
  Disallow: /pass (запретить индексировать файлы имя которых от корневого каталога начинается с "/pass").
  Disallow: /config.shtml (запретить индексировать файл "config.shtml").
  # Yahoho robot
  User-agent: Yahoho (для робота "Yahoho" поисковой системы Yuhuhu)
  Disallow: /cgi-bin/ (запретить индексировать директорию "/cgi-bin").
  Disallow: /images/ (запретить индексировать директорию "/images").
  Disallow: /pass (запретить индексировать файлы имя которых от корневого каталога начинается с "/pass").
  Disallow: /config.shtml (запретить индексировать файл "config.shtml").
  # For All
  User-agent: * (для всех поисковых систем, кроме перечисленных выше)
  Disallow: /cgi-bin/ (запретить индексировать директорию "/cgi-bin").
• Все что не запрещено - то разрешено, но не путайте инструкции ALLOW не существует, так же, как и файлов начинающихся с "*", поэтому инструкции "Disallow: *.doc" и "Disallow: /file/*.doc" ничего не запрещают.
• В заключении скажу, что Вы дольше читали этот текст, чем понадобится времени написать файл :)