ИИ‑боты теперь являются новой категорией пользователей сети и источником трафика, а запреты им не мешают

Искусственный интеллект уже контролирует значительную часть веб‑трафика

Согласно последнему докладу компании Akamai, опубликованному в журнале *Wired*, боты на основе ИИ занимают всё большую долю посещений сайтов. В отчёте описывается, как блокировка данных от таких ботов и их изощренные действия превращаются в настоящий «гонку вооружений» в интернете.

Что происходит

- Новые типы посетителей
Эксперты отмечают, что ИИ‑боты не просто копируют контент – они становятся новым классом пользователей. Владельцы крупных порталов пытаются ограничить доступ к материалам, которые боты могут собирать и использовать для обучения своих моделей.

- Сбор данных в реальном времени
Некоторые боты открывают информацию из сети мгновенно и применяют её для улучшения собственных сервисов: актуальные цены на товары, расписания кинотеатров, краткие обзоры новостей и т.п.

Статистика роста

- Нарушения robots.txt
Более 13 % ботов игнорируют директивы файлов *robots.txt*. С II по IV квартал такое поведение увеличилось на 400 %, в то время как попытки администраторов блокировать их возросли лишь на 336 %.

- Маскировка
Некоторые боты подменяют заголовки и имитируют обычные браузерные запросы, чтобы обойти защиту.

Услуги и решения

Существует множество законных целей сбора материалов: кибербезопасность, журналистские расследования и другие задачи. Однако большинство защитных механизмов пока применяются одинаково ко всем сценариям.

Тенденции рынка

- Более 40 компаний сейчас предлагают ботов для сбора данных, необходимых в обучении ИИ.
- Поисковые системы с ИИ и агенты вроде OpenClaw активизируются.
- Некоторые фирмы уже помогают компаниям находить материалы для ИИ‑агентов и разрабатывают инструменты оптимизации контента под машинное обучение.

Эти разработки предвещают появление «полноценного маркетингового канала», где поиск, реклама, медиа и коммерция будут интегрированы в единую экосистему.