Всем известно, что для качественной индексации сайтов поисковыми серверами желательно добавлять на сайт так называемую «Карту сайта» или Sitemap, это XML-файл или PlainText-файл, который содержит в себе список ссылок на все страницы Вашего сайта. И несмотря на то, что скрипт-генератор такого XML достаточно просто написать самостоятельно, многие продолжают пользоваться онлайн-генераторами Sitemap’ов.
Не секрет, что сейчас онлайн-генератор sitemap можно найти в интернете, доступны бесплатно тысячи сканеров, готовых предоставить вам файл sitemap.xml для заливки на Ваш сайт.
Для чего придуман sitemap ? Для того, чтобы робот мог найти даже те страницы, которые нельзя найти, просто перемещаясь по ссылкам на сайте (см. ссылку в помощи Яндекса).
Как работают все эти онлайн-генераторы для автоматического построения sitemap? Да очень просто. По сути — это роботы-сканнеры, они проходят по всем ссылкам Вашего сайта и составляют список ссылок на все страницы, до которых могут «дотянуться». Однако тут кроется главная ошибка. Страницы, на которые нет ссылок на самом сайте, не попадут в этот список. Кроме того, в нём не будет информации о частоте обновлений страниц сайта (lastmod), не будет информации о важности страниц. И кроме того, этот файл не будет обновляться автоматически с появлением новых статей/страниц на Вашем сайте, ибо для этого Вы вновь должны воспользоваться сканером и сгенерировать новый sitemap. И так нужно делать постоянно.
Таким образом, Вы видите, что полученный в результате автоматического сканирования sitemap не выполняет своего первоначального предназначения, он просто напросто бесполезен.
Так что не ленитесь — пишите свой собственный скрипт, генерирующий список ссылок на основе данных из Вашей БД, и это окупится стократно.
Кстати, если вы используете WordPress, то для него уже написано множество плагинов для генерации sitemap, которые с успехом могут быть использованы.