Здравствуйте. Никаких проблем с сервером нет. за работу внешних служб мы отчечать ен можем. проверьет пожалуйста настройки robots.txt на сайте и обязательно устновите задержку http://www.erahost.ru/faq.php Подскажите как настроить robots.txt под конкретную cms
Здравствуйте. Предлагаем Вам несколько шаблонов настройки robots.txt для популяпных cms
Для wordpress
User-agent: * # обращаемся ко всем поисковым роботам
Crawl-delay: * # ставим задержку между запросами поискового робота Disallow: *? # запрещаем все динамические страницы
Disallow: *.php$ # запрещаем все страницы с расширением “.php”
Disallow: /страница поиска/ #запрещаем страницу результатов поиска
Disallow: /tag/ # запрещаем все страницы тегов (меток)
Disallow: /feed/ # запрещаем XML-фид последних статей
Disallow: /page/ # запрещаем лишние страницы в WP, которые появляются после указания статичной страницы в качестве главной (иначе – НЕ указываем)
Disallow: */attachment/ # запрещаем страницы вложений
Host: site.ru # указываем главное зеркало для Яндекса
Sitemap: http://site.ru/sitemap.xml # указываем адрес XML-карты сайта
Для joomla
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /index.php*
Disallow: /index*.php*
Allow: /images/
Allow: /index.php?option=com_xmap&sitemap=*&view=xml
Host: ваш_домен.ru
Sitemap: http://ваш_адрес_карты_сайта
Clean-param: searchword /
Crawl-delay: * наличие Crawl-delay в robots.txt обязательно |
WordPress)