Здравствуйте Гость ( Вход | Регистрация ) | Выслать повторно письмо для активации |
Snow |
Отправлено: Май 27 2014, 01:15
|
Lord Commander of The Night's Watch Группа: Пользователи Сообщений: 235 Пользователь №: 3 794 Регистрация: 11-Ноября 12 Репутация: 11 |
Стартовала бета. Наверно к кому-то из вас уже приходил ихний бот, а я пока его не видел. Прошу делиться впечатлениями, советами, страшилками и вообще всем об этом новом чудище стозевном. Пока я никак не могу понять, где у них аддурилка - похоже ее просто нету.
Вот что у них напейсано: Цитата Поисковый робот SputnikBot Поисковый робот «Спутника» SputnikBt ежедневно обходит сайты русского сегмента интернета. Собранная им информация в дальнейшем обрабатывается и попадает в индекс поисковой системы. Все запросы поискового робота приходят из подсети 109.207.13.0/24. Заголовок User-Agent, посылаемый роботом, выглядит следующим образом: Mozilla/5.0 (compatible; SputnikBot/2.3). Номер версии бота, в данном случае 2.3, со временем будет увеличиваться. Чтобы избежать чрезмерной нагрузки на сайты, поисковый робот SputnikBot при загрузке страниц придерживается следующих правил: Если у сайта имеется несколько поддоменов, одновременная загрузка страниц может производиться не более чем с четырёх поддоменов; Страницы с каждого поддомена загружаются последовательно; Минимальная задержка по умолчанию между двумя последовательными запросами к поддомену составляет 2 секунды. Запретить или разрешить обход и индексацию определённых страниц сайта можно одним из следующих способов: С помощью директив Disallow/Allow в файле robots.txt; С помощью meta-тегов robots; C помощью HTTP-заголовков X-Robots-Tag. Кроме того, при помощи директивы Crawl-delay в файле robots.txt можно управлять скоростью обхода страниц сайта. При анализе файла robots.txt поисковый робот использует директивы, описанные для User-Agent с именем SputnikBot: User-Agent: SputnikBot; Disallow:. Регистр символов в имени бота значения не имеет. Не следует указывать номер версии поискового робота. В случае если директивы для робота SputnikBot отсутствуют, поисковый робот будет использовать директивы общие для всех роботов: User-Agent: *; Disallow: / Требования к префиксам пути директив Disallow/Allow: пустой префикс директивы Disallow эквивалентен записи Allow: /; пустой префикс директивы Allow эквивалентен записи Disallow: / Все непустые префиксы должны начинаться с символа / . Допускается использование специальных символов: * - обозначает произвольное количество символов в пути (0 и более); $ - обозначает конец пути. В случае конфликта директив Disallow/Allow используется директива, имеющая более длинный префикс пути; при одинаковой длине префикса приоритет отдаётся директиве Allow. Всё, что не запрещено явным образом, считается разрешённым для загрузки и индексации. При помощи директивы Crawl-delay можно задать минимальную задержку между двумя последовательными запросами робота к сайту. Значение минимальной задержки может быть дробным: User-Agent: SputnikBot; Crawl-delay: 0.1 -------------------- |
|
Snow |
Отправлено: Июн 9 2014, 20:32
|
Lord Commander of The Night's Watch Группа: Пользователи Сообщений: 235 Пользователь №: 3 794 Регистрация: 11-Ноября 12 Репутация: 11 |
Директор по продуктам новой российской поисковой системы "Спутник" - Михаил Козлов сообщил, что вскоре у веб-мастеров появится возможность добавлять свои сайты через специальную форму, которая будет находиться в отдельном разделе для разработчиков. А чтобы уже сейчас добавить сайт в индекс, нужно написать через форму обратной связи, находящуюся в категории "Технические вопросы".
-------------------- |
|