14:01:2013

Файл robots.txt для вашего сайта

robots.txtЗачем нужен этот файл robots.txt и вообще, что он делает? Может вы уже успели задаться этим вопросом? Если да, то эта статья вам будет очень полезно, но и если вы еще даже и не думали об этом, то вам тоже стоит почитать. Начнем.
Файл robots.txt – это файл частично ограничивающий доступ к вашему блогу или сайту.

На вопрос – “зачем это вообще надо”, – существует очень легкий ответ. На нашем блоге(сайте), есть куча лишних папок на которые поисковый робот тратит свое драгоценное время. Поэтому их лучше закрыть от индексации иначе, поисковик, в процессе индексации нашего блога, может подумать, что он состоит только из таких папок и пропустить некоторые, очень важные, страницы. Когда поисковый робот приходит на наш сайт, он сразу же ищет robots, который рассказывает ему, что нужно индексировать, а что не нужно.
В общем, назначение файла понятно.
Теперь 2-й вопрос.

Как создать файл robots.txt?

Все очень просто! Создаете у себя на рабочем столе текстовый файл и называете его – Robots(Просто robots, без txt, txt – это формат в котором текстовый файл сохраняется, поэтому его не нужно писать. Если вы назовете файл robots.txt, то получится – robots.txt.txt.). После создания, пропишите в этом файле следующее:

Вместе seogeeks.ru вставьте адрес своего сайта, а там где написано sitemap – вставьте после: адрес своей карты сайта.Кстати, советую вам прочитать вот эту статью, чтобы узнать, как сделать карту вашего сайта -”Как создать карту сайта для wordpress“.
Не бойтесь на счет правильности составления файла или о сохранности вашего контента! Именно такой файл robots.txt рекомендуют сами разработчики wordpress.
Успехов в составлении!

Понравилась статья? Хотите получать самые полезные статьи к себе на почту? Тогда

Введите свой E-mail:

Ответить