OpenAI разъяснила, как справляется с «гремлинами» в ответах ИИ, и сняла ограничения.

OpenAI раскрыла «проблему» с гоблинами

В Wired стало известно, что компания OpenAI столкнулась с неожиданной особенностью своих моделей ИИ: они начали часто упоминать гоблинов, гремлинов и другие вымышленные существа. Чтобы устранить это, разработчики вынуждены давать модели специальные инструкции: «Никогда не говори о гоблинах, гремлинах, енотах, троллях, ограх, голубях или любых других животных и существах».

Почему возникла привычка?

Проблема стала заметна после выпуска GPT‑5.1, особенно когда в диалог включался персонаж «Ботаник» (Nerdy). С каждым обновлением модели частота упоминаний только росла. Оказалось, что во время обучения с подкреплением эти метафоры получали вознаграждение – но только при активации личности Ботаника. Поскольку обучение с подкреплением не гарантирует сохранения поведения в тех же условиях, такая привычка могла распространяться и на другие части модели, особенно если результаты повторно использовались в тонкой настройке или в данных о предпочтениях.

Как компания реагировала?

В марте OpenAI прекратила использовать Ботаника, после чего упоминания гоблинов почти исчезли. Однако они вновь появились в сервисе Codex с GPT‑5.5, поскольку обучение модели началось до того, как проблема была выявлена. Поэтому разработчикам пришлось добавить дополнительные инструкции для Codex: «Не упоминай мифологических существ». Тем не менее, пользователи, которым такой стиль общения нравится, получили возможность отключить эти ограничения через специальный код.

Таким образом, OpenAI столкнулась с неожиданной «привычкой» своих ИИ‑моделей и приняла меры по её коррекции, одновременно предлагая гибкие настройки для разных аудиторий.