Cisco обнаружила причины, по которым даже казалось бы идеальные отчёты ИИ о киберинцидентах не стоит воспринимать как истину

Cisco Talos исследует точность больших языковых моделей в создании кибер‑отчётов

Команда Cisco Talos Incident Response провела тест, чтобы выяснить, насколько надёжно современные LLM (ChatGPT, Claude и Gemini) могут генерировать технические отчёты о киберинцидентах. Результаты показали, что даже самые «профессионально выглядящие» документы содержат фактические ошибки, противоречия и несоответствия.

Как проводилось исследование

* Подготовка – исследователи передали каждой модели сырые заметки о инциденте с просьбой составить отчёт.
* Выход – все три LLM выдали визуально отполированные документы, но при детальном анализе выявились неточности и неожиданные выводы.

Нейт Порс (Nate Pors), старший руководитель направления реагирования на инциденты в Cisco Talos, подробно описал результаты в корпоративном блоге.

Почему LLM «ошибаются»

Cisco объясняет проблемы вероятностной природой моделей: они предсказывают следующее слово по статистическим весам, а не понимают смысл. По словам Порса, искажения проявляются в четырёх направлениях:

1. Разные фрагменты данных
При каждом запросе модель опирается на разные части входа, что делает невозможным получение воспроизводимых и стандартизированных результатов.

2. Несогласованные выводы
Одни и те же данные могут привести к разным рекомендациям: в одном отчёте будет предложена принудительная смена паролей по всей организации, а в другом – только точечные изменения. Модель часто фиксируется на первой сгенерированной рекомендации, даже если она не подходит.

3. Нестандартная структура
Поскольку LLM формируют текст токен за токеном, итоговые документы могут иметь разную структуру и оформление, что критично в среде, где требуются шаблоны для контроля качества.

4. Проблемы контекстного окна
При объёме входных данных, превышающем лимит контекста, модель может «забыть» важные сведения из начала сеанса и выдавать непредсказуемые или смешанные результаты.

Что это значит для кибербезопасности

Cisco признаёт, что теоретически можно ограничить задачу до конкретного фрагмента отчёта, но такой подход лишает пользователей экономии времени. В сфере кибер‑защиты даже небольшая ошибка может стоить дорого. Поэтому авторы итоговых документов должны тщательно проверять каждое слово и не полагаться полностью на рекомендации LLM.

Вывод: большие языковые модели способны быстро генерировать отчёты, но их выводы требуют обязательной проверки специалистами, чтобы избежать ошибок и несоответствий в критически важном контексте киберинцидентов.