Рекомендации по составлению файла robots.txt для shop-script

Для снижения нагрузки на сервер, вызываемой роботами поисковых систем (Яндекс, Google, Рамблер и др.), эффективным средством является размещение файла robots.txt с директивами, ограничивающими перечень адресов (URL) страниц сайта, подлежащих индексированию. Кроме того, ограничение списка индексируемых адресов позволяет запретить включение в базу данных поисковых систем нерелевантной (т.е. не имеющей ценности с точки зрения поиска в интернете) информации.

Использовать этот метод можно и для WebAsyst Shop-Script. Поскольку адреса многих страниц витрины WebAsyst Shop-Script различаются в зависимости от того, включен ли режим ЧПУ, ниже предложены отдельные рекомендации для магазинов с включенным и выключенным режимом ЧПУ.

С включенными ЧПУ

Без ЧПУ

Комментарии

Значения User-agent
User-agent: * Список User-agent поисковых роботов, к которым должны применяться указанные ниже директивы. Для применения директив к роботам всех поисковых систем используется символ *.
Для обеспечения оптимальной индексации
Sitemap: http://mydomain.ru/sitemap.php Адрес Sitemap-файла, сформированного в разделе администрирования «Инструменты -> Sitemaps».
Для снижения нагрузки
Disallow: /pricelist/ Disallow: /*ukey=pricelist Страница прайс-листа
Disallow: /search/ Disallow: /*ukey=search* Страница поиска
Disallow: /*sort=* Disallow: /*sort=* Страница с результатами сортировки товаров в категории
Disallow: /*/all/ Disallow: /*show_all=yes Страница со списком всех товаров в категории
Для отмены индексации нерелевантной информации
Disallow: /auth/ Disallow: /*ukey=auth Страница входа в аккаунт покупателя
Disallow: /cart/ Disallow: /*ukey=cart Корзина с товарами
Disallow: /checkout/ Disallow: /*ukey=checkout Страница оформления заказа
Disallow: /feedback/ Disallow: /*ukey=feedback Форма обратной связи
Disallow: /installer/
Disallow: /published/wbsadmin/
Disallow: /installer/
Disallow: /published/wbsadmin/
WebAsyst Installer
Disallow: /login/ Disallow: /login/ Вход в аккаунт пользователя WebAsyst
Disallow: /logout/ Disallow: /*ukey=logout Ссылка для выхода из аккаунта покупателя
Disallow: /myaccount/ Disallow: /*ukey=office Аккаунт покупателя
Disallow: /order_status/ Disallow: /*ukey=order_status Ссылка для просмотра статуса заказа
Disallow: /published/SC/html/scripts/ Disallow: /published/SC/html/scripts/ Различные служебные скрипты (например, RSS-лента)
Disallow: /register/ Disallow: /*ukey=register Страница регистрации покупателя
Disallow: /remind_password/ Disallow: /*ukey=remind_password Ссылка для напоминания пароля покупателю
Disallow: /*view=* Disallow: /*view=* Служебные ссылки (например, печатная форма страницы)
Disallow: /*/reviews/ Disallow: /*ukey=discuss_product Ссылка на страницу с обсуждениями товара
Disallow: /vkontakte/ Disallow: /*store_mode=vkontakte* Адрес витрины для интеграции с социальной сетью «Вконтакте»
Disallow: /facebook/ Disallow: /*store_mode=facebook* Адрес витрины для интеграции с социальной сетью «Фейсбук»
Disallow: /order_status/ Disallow: /*ukey=order_status Страницы проверки статуса заказа
Disallow: /order_history/ Disallow: /*ukey=order_history Страница со списком заказов покупателя
Disallow: /print_form/ Disallow: /*print_form* Печатные формы различных документов

Директива Crawl-delay

Снизить нагрузку, вызываемую активностью поисковых роботов можно также с помощью директивы Crawl-delay. Эта директива устанавливает минимальный промежуток времени в секундах между завершением загрузки одной страницы сайта и началом загрузки следующей страницы. Пример использования директивы:

Crawl-delay: 10

Строку с директивой Crawl-delay необходимо указывать сразу после строк с директивами Disallow или Allow.

И соответственно заливаем файл robots.txt в корень сайта.

Реальный пример написания с одного из моих сайтов на shop-script c включенными ЧПУ ссылками:

User-agent : *
Disallow: /order_status/
Disallow: /order_history/
Disallow: /print_form/
Disallow: /*view=*
Disallow: /remind_password/
Disallow: /register/
Disallow: /published/SC/html/scripts/
Disallow: /myaccount/
Disallow: /logout/
Disallow: /login/
Disallow: /published/wbsadmin/
Disallow: /installer/
Disallow: /checkout/
Disallow: /cart/
Disallow: /auth/
Crawl-delay: 10
Sitemap: http://мой сайт.ru/sitemap.php



комментария 3 к “Рекомендации по составлению файла robots.txt для shop-script”

  1. Reil:

    OpenCart сильно нагружает базу?

  2. Забыли про sitemap в примере

Оставить комментарий