А вы видимо думали, что они в тот же день прибегут?
У неготорых до двух недель уходит, прежде чем первый бот вообще появиться на форуме.
| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум поддержки IPB.SU > Оптимизация, продвижение и раскрутка > robots.txt |
| Автор: Deco Окт 3 2010, 19:33 |
| Статья о robots.txt на нашем сайте: http://ipb.su/wiki/robots.php Вопросы можно задавать здесь. |
| Автор: AZaRt Окт 16 2010, 19:39 |
| когда я проверяю своего робота у сайта (http://unicalstat.ipb2.ru/robots.txt), то у меня такие строки: Код User-agent: * Disallow: Host: www.unicalstat.ipb2.ru а должно быть вроде: Код User-agent: * Disallow: Host: www.unicalstat.ipb2.ru что делать? |
| Автор: Deco Окт 16 2010, 20:14 |
| Не думаю, что тут можно или нужно что-то делать. |
| Автор: Kor Окт 16 2010, 21:53 |
| Где этот файл найти? И как его создать? И где создвать? |
| Автор: admin Окт 16 2010, 22:33 |
| АдминЦентр -> Системные настройки -> Поисковая оптимизация |
| Автор: Kor Окт 16 2010, 23:09 |
| Ну я вот так сделал: User-agent: * Disallow: А ботов в онлайне всеравно не вижу, поставил чтобы они заходили как пользователи. |
| Автор: Dron Окт 17 2010, 09:15 |
| Kor, А вы видимо думали, что они в тот же день прибегут? У неготорых до двух недель уходит, прежде чем первый бот вообще появиться на форуме. |
| Автор: Potter Авг 18 2011, 21:35 |
| и что нужно загружать, и куда? |
| Автор: Slesher Авг 19 2011, 08:24 |
| Я думаю, хоть 3 000 статей в гугле, но найдутся на эту тему. |
| Автор: asm-a Фев 19 2012, 13:54 |
А где пункт про Robots? Я что то не нашел  |
| Автор: PruFF Апр 1 2012, 07:39 |
Цитата (admin @ Окт 16 2010, 23:33) АдминЦентр -> Системные настройки -> Поисковая оптимизация А че это за Робот такой? |
| Автор: seomilk Фев 20 2013, 08:29 |
| Возникла проблема с robots.txt после привязки к форуму домена второго уровня. По старому адресу http://домен.ipb.su/robots.txt все работает корректно, а по новому http://домен.ru/robots.txt - 404 ошибка. |
| Автор: admin Фев 20 2013, 10:33 |
| http://ipboard.net/index.php?showuser=4050, вечером разберусь, в чём проблема. |
| Автор: Raydenlord Фев 20 2013, 11:17 |
| http://ipboard.net/index.php?showuser=1, точно такая же проблема... |
| Автор: seomilk Фев 20 2013, 20:53 |
| http://ipboard.net/index.php?showuser=1, спасибо! |
| Автор: admin Фев 20 2013, 21:17 |
| Исправлено. |
| Автор: seomilk Фев 20 2013, 22:06 |
| http://ipboard.net/index.php?showuser=1, все заработало. Спасибо! |
| Автор: Raydenlord Фев 20 2013, 22:09 |
http://ipboard.net/index.php?showuser=1, подтверждаю, заработало! Благодарю  |
| Автор: Alex86 Авг 3 2013, 11:39 |
| Скажите, как составить robots.txt, чтоб не индексировались профили пользователей? |
| Автор: Raydenlord Авг 6 2013, 10:55 |
| Код User-agent: * Disallow: /index.php?showuser |
| Автор: Murky Мар 8 2015, 08:49 |
| Если я не хочу запрещать индексацию никаких форумов, robots.txt не нужен, всё и так проиндексируется, или он всё же полезен? Если да, то чем? У меня прикреплённый домен. В таком случае robots.txt нужен, полезен или можно обойтись без него? |
| Автор: admin Мар 9 2015, 22:06 |
| Роботс в любом случае полезен. Если прикреплённый домен - тем более, чтобы указать его как главный для поисковиков. |
| Автор: Altron Июл 19 2015, 18:19 |
| Приветствую. Проблема с файлом. Когда его переносили с движка юкоза на IPB, то попросили временно сделать сайт не индексируемым. И сделал подрядчик вот такой файл Код User-agent: * Disallow: /forum/admin/ Disallow: /forum/cache/ Disallow: /forum/converge_local/ Disallow: /forum/hooks/ Disallow: /forum/ips_kernel/ Disallow: /forum/retail/ Disallow: /forum/public/style_captcha/ Disallow: /forum/index.php?app=core&module=task Disallow: /forum/index.php?app=forums&module=moderate§ion=moderate Disallow: /forum/index.php?app=forums&module=extras§ion=forward Disallow: /forum/index.php?app=members&module=chat Disallow: /forum/index.php?&unlockUserAgent=1 Disallow: /forum/*&module=search Allow: /forum/*&search_tags= Disallow: /forum/*app=core&module=global§ion=reputation Disallow: /forum/*app=core&module=usercp Disallow: /forum/*app=members&module=messaging Disallow: /forum/*&p= Disallow: /forum/*&pid= Disallow: /forum/*&hl= Disallow: /forum/*&start= Disallow: /forum/*view__getnewpost$ Disallow: /forum/*view__getlastpost$ Disallow: /forum/*view__old$ Disallow: /forum/*view__new$ Disallow: /forum/*view__getfirst$ Disallow: /forum/*view__getprevious$ Disallow: /forum/*view__getnext$ Disallow: /forum/*view__getlast$ Disallow: /forum/*&view=getnewpost$ Disallow: /forum/*&view=getlastpost$ Disallow: /forum/*&view=old$ Disallow: /forum/*&view=new$ Disallow: /forum/*&view=getfirst$ Disallow: /forum/*&view=getprevious$ Disallow: /forum/*&view=getnext$ Disallow: /forum/*&view=getlast$ Disallow: /forum/*?s= Disallow: /forum/*&s= Disallow: /forum/index.php?app=core&module=global§ion=login&do=deleteCookies Disallow: /forum/index.php?app=forums&module=extras§ion=rating Disallow: /forum/index.php?app=forums&module=forums§ion=markasread Disallow: /forum/*&do=who Disallow: /forum/*§ion=dname Disallow: /forum/go/ Disallow: /forum/user/ Disallow: /forum/members/ Disallow: /forum/calendar/ Disallow: /forum/statuses/ Disallow: /forum/index.php/user/ Disallow: /forum/index.php/members/ Disallow: /forum/index.php/calendar/ Disallow: /forum/index.php/statuses/ Disallow: /forum/index.php?/user/ Disallow: /forum/index.php?/members/ Disallow: /forum/index.php?/calendar/ Disallow: /forum/index.php?/statuses/ Что нужно сделать, чтобы сайт начал нормально индексироваться? есть какой-то вид файла дл форума на этом движке, по умолчанию? Чтобы форум индексировался, а личные данные пользователей и т.п. были недоступны для робота? Спасибо. |