3


45 Пользователей | Мы выплатили 210000 руб | Полная статистика| Топ-100
----- 1 КЛИК = ЗАРАБОТОК ----- Кликов: 361 150р + БОНУС 50р ЗА РЕГИСТРАЦИЮ!!! Кликов: 349 АВТОСЕРФИНГ ЗА БИТКОИН. KLAIN Кликов: 222 Добавить ссылку
slon34

slon34
898.19
Реф-бек: 90%

tarkor

tarkor
38198.92
Реф-бек: 90%

jurassic2

jurassic2
5000.44
Реф-бек: 91%

vitai

vitai
1760.87
Реф-бек: 90%


Занять место

Настройка файла Robots.txt

Ваш сайт появится в выдаче поисковых систем только после того, как роботы поисковых систем увидят и внесут его в свою базу, т.е. проиндексируют. Файлы Robots.txt и Sitemap.xml позволяют управлять индексацией сайта. Правильная настройка файлов позволит существенно ускорить процесс индексации, укажет роботу на те страницы, которые должны быть проиндексированы. При неверной настройке возможно дублирование страниц сайта, что нежелательно.

Правила поведения для поисковых ботов прописываются в файле Robots.txt, файл этот, как правило, располагается в корневом каталоге сайта. Это обычный текстовый файл, доступный для редактирования. В первую очередь, поисковый бот ищет именно этот файл, если поиск не заканчивается успехом, индексация сайта существенно затягивается. Есть небольшая хитрость, настройки файла robots.txt наиболее популярных сайтов можно посмотреть, дописав к доменному имени строку «/robots.txt». Иногда бывает полезно учиться у более опытных разработчиков.

Из чего же все-таки состоит этот файл? В первую очередь, он должен содержать информацию о поисковом роботе (директива User-agent), для которого он предназначен, далее следуют разрешающие (Allow) или запрещающие директивы (Disallow). Если у Вас есть «зеркало», его тоже желательно указать (директива Host).

Важно! После каждой записи с названием поискового робота должна стоять как минимум одна директива, запрещающая. Пустой файл Robots.txt предполагает разрешение на индексацию всего сайта. Если в директиве User-agent указать параметр «*», индексация будет разрешена для всех роботов поисковых систем, «Yandex» - для Яндекса и «Googlebot» для Google. Крупные поисковые системы имеют отдельных роботов для блогов, постов и т.д. Знак «/» с названием каталога, прописанный в запрещающей директиве, означает полный отказ от индексации каталога и наоборот, в разрешающей. Пустое место же, напротив, означает разрешение. Название каталога, заключенного в «/ /» указывает, что индексировать необходимо весь каталог с данным именем. Если указать «*.расширение» в запрещающей или разрешающей директиве, будет разрешена или запрещена индексация любого файла с данным расширением. Недопустимо наличие пустых строк между директивами, кроме как перед новой директивой User-agent. После названия директивы всегда следует пробел. Директивы сортируются от меньшей URL к большей.

В директиве Sitemap необходимо прописать путь к файлу Sitemap.

Если сайт создан на CMS, «в комплекте» к нему идет огромное количество файлов, индексация которых нежелательна, занимает много времени и может «отвлечь» роботов от полноценной работы над важной страницей сайта.

Сайт автора

Всего участников: 45
За сегодня: 0
Новых вчера: 0
Выплат на сумму: 210000 руб
Минималка: 0.30 руб
Комиссия: НЕТ
Бонус при рег.: ДА
Автовыплаты: ДА
Баннер 200х300
Вход в аккаунт
Баннер 100х100
Реклама
Опрос
Наверх