Посты с тегом ‘robots.txt’

Корректный переход со старого домена на новый с сохранением всех параметров

Апрель 29th, 2016

Задача:

Есть домен site.com с определенными показателями ТИЦ и PR, но мы хотим перенести проект (сайт) на новый адрес site.org не теряя уже полученные кровью и потом результаты в поисковиках. Читать далее »

Новые правила обработки директив Allow и Disallow в файлах robots.txt 8.03.2012

Март 8th, 2012

Письмо от яндекса:

Добрый день!

Уведомляем вас об изменениях в обработке директивы ‘Allow’ файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.

По новым правилам, если страница сайта попадает под действие нескольких директив ‘Allow’ и/или ‘Disallow’, то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол ‘*’ не учитывается.

Если на вашем сайте в robots.txt совместно используются директивы ‘Allow’ и ‘Disallow’, пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.

Подробнее об использовании директив вы можете прочитать в Помощи.


С уважением,
Яндекс.Вебмастер
http://webmaster.yandex.ru

ЭТО ПИСЬМО ОТПРАВЛЕНО ПОЧТОВЫМ РОБОТОМ, ПОЖАЛУЙСТА, НЕ ОТВЕЧАЙТЕ НА НЕГО.

Результаты проверки robots.txt на uvivu:



Рекомендации по составлению файла robots.txt для shop-script

Ноябрь 23rd, 2011

Для снижения нагрузки на сервер, вызываемой роботами поисковых систем (Яндекс, Google, Рамблер и др.), Читать далее »