Sputnik

[Snow]

Стартовала бета. Наверно к кому-то из вас уже приходил ихний бот, а я пока его не видел. Прошу делиться впечатлениями, советами, страшилками и вообще всем об этом новом чудище стозевном. Пока я никак не могу понять, где у них аддурилка - похоже ее просто нету.

Вот что у них напейсано:

Цитата

Поисковый робот SputnikBot

Поисковый робот «Спутника» SputnikBt ежедневно обходит сайты русского сегмента интернета. Собранная им информация в дальнейшем обрабатывается и попадает в индекс поисковой системы.

Все запросы поискового робота приходят из подсети 109.207.13.0/24. Заголовок User-Agent, посылаемый роботом, выглядит следующим образом: Mozilla/5.0 (compatible; SputnikBot/2.3). Номер версии бота, в данном случае 2.3, со временем будет увеличиваться.

Чтобы избежать чрезмерной нагрузки на сайты, поисковый робот SputnikBot при загрузке страниц придерживается следующих правил:

Если у сайта имеется несколько поддоменов, одновременная загрузка страниц может производиться не более чем с четырёх поддоменов;
Страницы с каждого поддомена загружаются последовательно;
Минимальная задержка по умолчанию между двумя последовательными запросами к поддомену составляет 2 секунды.

Запретить или разрешить обход и индексацию определённых страниц сайта можно одним из следующих способов:

С помощью директив Disallow/Allow в файле robots.txt;
С помощью meta-тегов robots;
C помощью HTTP-заголовков X-Robots-Tag.

Кроме того, при помощи директивы Crawl-delay в файле robots.txt можно управлять скоростью обхода страниц сайта. При анализе файла robots.txt поисковый робот использует директивы, описанные для User-Agent с именем SputnikBot:

User-Agent: SputnikBot;
Disallow:.

Регистр символов в имени бота значения не имеет. Не следует указывать номер версии поискового робота.

В случае если директивы для робота SputnikBot отсутствуют, поисковый робот будет использовать директивы общие для всех роботов:

User-Agent: *;
Disallow: /

Требования к префиксам пути директив Disallow/Allow:

пустой префикс директивы Disallow эквивалентен записи Allow: /;
пустой префикс директивы Allow эквивалентен записи Disallow: /

Все непустые префиксы должны начинаться с символа / . Допускается использование специальных символов:

* - обозначает произвольное количество символов в пути (0 и более);
$ - обозначает конец пути.

В случае конфликта директив Disallow/Allow используется директива, имеющая более длинный префикс пути; при одинаковой длине префикса приоритет отдаётся директиве Allow. Всё, что не запрещено явным образом, считается разрешённым для загрузки и индексации.

При помощи директивы Crawl-delay можно задать минимальную задержку между двумя последовательными запросами робота к сайту. Значение минимальной задержки может быть дробным:

User-Agent: SputnikBot;
Crawl-delay: 0.1

[Snow]

Директор по продуктам новой российской поисковой системы "Спутник" - Михаил Козлов сообщил, что вскоре у веб-мастеров появится возможность добавлять свои сайты через специальную форму, которая будет находиться в отдельном разделе для разработчиков. А чтобы уже сейчас добавить сайт в индекс, нужно написать через форму обратной связи, находящуюся в категории "Технические вопросы".