Просмотр новых публикаций
Последние темы
|
скачать nfs 2012 через торрент Автор FreequeClinue, Вчера, 11:54 В: Услуги вебмастера » Создание сайтов |
0 Ответов 1 Просмотров |
FreequeClinueВчера, 11:54 |
|
|
скачать музыку down down down Автор FreequeClinue, Вчера, 10:21 В: Услуги вебмастера » Создание сайтов |
0 Ответов 1 Просмотров |
FreequeClinue Вчера, 10:21 |
|
|
скачать кот том бесконечные деньги Автор FreequeClinue, Вчера, 10:09 В: Услуги вебмастера » Создание сайтов |
0 Ответов 1 Просмотров |
FreequeClinue Вчера, 10:09 |
Администрация не несет ответственности за его содержимое!
Новые правила обработки директивы Allow файла robots.txt. Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используется директива 'Allow', о новых правилах её использования читайте далее.
Пример:
User-agent: Yandex Allow: /catalog Disallow: /
# запрещает скачивать все, кроме страниц
# находящихся в '/catalog'
Сейчас для корректной обработки этой директивы ее необходимо использовать с учетом порядка: если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.
Примеры:
User-agent: Yandex Allow: /catalog Disallow: /# запрещает скачивать все, кроме страниц находящихся в '/catalog'
User-agent: Yandex Disallow: / Allow: /catalog# запрещает скачивать весь сайт
Через несколько недель Яндекс планирует внедрить изменение в обработке поисковым роботом директивы allow и отказаться от учета порядка. Директивы будут сортироваться по длине префикса URL’а (от меньшего к большему) и применяться последовательно. Такое изменение позволит Яндексу соответствовать международным принципам применения директивы, чтобы и у российских, и у зарубежных вебмастеров не возникало трудностей при составлении файла robots.txt для разных поисковых систем.
Если на вашем сайте в robots.txt используются директивы allow и disallow, пожалуйста, проверьте их на соответствие новым стандартам.
Скачивание файлов без Хайда, доступно для групы: VIP
Комментарии к новости
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.
Информация
Посетители, находящиеся в группе Прохожий, не могут оставлять комментарии к данной публикации.
Апдейты 
Последний