05.11.2009 Google будет использовать RSS/Atom фиды для обнаружения новых веб-страниц

Google будет использовать RSS/Atom фиды для обнаружения новых веб-страниц. Т.е. как поясняется в блоге Google Webmaster Central , поисковик будет таким образом обходить и индексировать новые страницы.

На сегодняшний день Google индексирует не только сам контент сайтов и блогов, но и сгенерированные RSS-каналы данных ресурсов, поэтому будет использовать последние для обнаружения нового материала. Если традиционно поисковик полагается на ссылки, указанные в самом контенте сайта или блога, то теперь новые страницы Google сможет найти, используя дополнительный вариант – активные ссылки в онлайн RSS-ридерах, например, Google Reader.

По словам специалистов Google, такой метод позволит оперативней индексировать страницы, чем при использовании традиционного метода. Особое внимание Google обращает на то, чтобы файлы RSS/Atom фидов не были закрыты в robots.txt, в том случае, если вы хотите, чтобы ваш сайт мог быть проиндексирован таким путем.