<PROSPERO.RU>
|
 |
Новый бесплатный инструмент ускорения индексации сайта |
|
| Размещено: 13.09.2016 13:37 |
|
|
Добавлен инструмент формирования sitemap'ов. При формировании sitemap учитывается содержание файла robots.txt. Учитываются директивы Host, Disallow, Crawl-delay, Clean-param. Возможно задать по фрагменту URL параметры lastmod, changefreq, priority. Сформировав sitemap, разместите его на своем сайте и добавьте url в robots.txt и https://www.google.com/webmasters/tools/submit-url .
В отличие от всех прочих сервисов, ограничивающих объем бесплатно формируемого файла, услуга предоставляется совершенно бесплатно.
|
<PROSPERO.RU>
|
 |
Re: Новый бесплатный инструмент ускорения индексации сайта |
|
| Размещено: 13.09.2016 21:55 |
|
|
PROSPERO.RU, анализируя результаты работы нашего нового ПО, хотелось бы особенно отметить, что робот обрабатывает robots.txt в соответствии с правилами яндекса https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru#host, посему если в клиентском файле robots.txt есть ошибочные инструкции, это воспрепятствует правильному формированию sitemap, что и обнаруживается у некоторых из наших клиентов.
|
|