Google создал протокол REP для robots.txt

Корпорация Google, совместно с разработчиками Robots Exclusion Protocol, программистами, вебмастерами, полномочными представителями других поисковиков, зафиксировала применение REP в инженеринге, оформила обращение в Инженерный совет Интернета о признании REP официальным стандартом.

Зарегистрированный в EITF документ свидетельствует о многолетней практике применения robots.txt (более 20 лет), отображает статистические данные Googlebot, остальных сканеров, и почти полмиллиарда сайтов, использующих REP.

Изменения не коснутся правил, обозначенных в robots.txt в 1994 году, а только зафиксируют не встречающиеся ранее сценарии парсинга, приведут его в соответствие с современными требованиями и рекомендациями:

• Все протоколы передачи, действующие на URI, смогут применять robots.txt.
• В обязанность разработчикам вменяется необходимость парсить не менее 500 первых кибибайтов robots.txt.
• При недоступности robots.txt, заблокированные для краулеров страницы не подлежат сканированию длительный период.
• Предельное время кэширования ограничено 24 часами, что расширяет возможности разработчиков, позволяя обновлять robots.txt без перегрузки сайта запросами от краулеров.

Для улучшения определения синтаксиса, пунктуации, Google предлагает использовать обновленную версию формы Бэкуса – Наура. В рамках проведения эксперимента, в свободный доступ поступил исходный код парсера.

Специалисты компании, утверждают, что из-за того, что REP не являлся официальным стандартом, возникали разногласия в трактовке.

Ключевая цель Google – дать вебмастерам уверенность в том, что бот-поисковик верно просканирует созданный сайт.