Генератор robots.txt

Создайте robots.txt с несколькими блоками user-agent, правилами Allow/Disallow, необязательными Crawl-delay, Host и строками Sitemap. Предпросмотр обновляется по мере ввода.

Блоки User-agent

Общие

URL Sitemap (по одному в строке) Host (необязательно; используется некоторыми сканерами)

Примечания: Host учитывается некоторыми сканерами (например, Yandex). Crawl-delay не используется Google, но может применяться другими. Подстановки * и $ широко поддерживаются (не входят в основной RFC).

Предпросмотр (robots.txt)

Проверка URL

User-agent URL или путь

Напоминание: robots.txt публично доступен и является рекомендацией для корректно работающих сканеров; это не механизм контроля доступа.

Комментарии (0)

Оставьте отзыв — пожалуйста, будьте вежливы и по теме.

Пока нет комментариев. Оставьте комментарий — поделитесь своим мнением!

Войти, чтобы комментировать

Пароль

Forgot your password? Создать аккаунт

Asted Cloud