ИИ продемонстрировал успехи в исследовании редких и малораспространённых языков

Большие языковые модели сокращают языковой разрыв

Новые версии искусственного интеллекта (ИИ) демонстрируют заметный прогресс в работе с редкими и малоизвестными языками, что существенно уменьшает глобальный «языковой разрыв». Это подтверждает исследование компании RWS, опубликованное TechRadar.

1. Что показали исследования

- Google Gemini Pro получил оценку качества выше 4,5 из 5 баллов по знанию языка киньяруанда – на котором говорят около 12 млн человек в Руанде, Уганде и Демократической Республике Конго.
- Авторы объясняют успех тем, что современные модели опираются не только на огромные датасеты конкретного языка, но и используют общие статистические закономерности всех языков (механизм межъязыкового переноса).
- Улучшения в токенизаторах – системах разбиения текста на «токены» – также способствуют более точной работе с редкими языками.

2. Эффект «дрейфа бенчмарка»

Эксперты обнаружили, что при переходе от одной версии модели к следующей её возможности могут неожиданно меняться:

- Последняя версия OpenAI GPT уступает более старым моделям в некоторых задачах генерации контента, хотя предшественник была эффективнее.
- Эффективность токенизатора может различаться до 3,5‑раза между поколениями; это значит, что результаты предыдущих тестов не всегда применимы к новым версиям.

3. Что меняется в приоритетах разработчиков

- Ранее лаборатории ИИ ставили во главу угла производительность на английском и нескольких ключевых языках.
- Современные модели уже успешно справляются с этими задачами, поэтому внимание смещается к более широкой аудитории: поддержка редких языков становится всё важнее.
- Однако оценка 4,5/5 не гарантирует реального уровня владения языком; многоязычная поддержка пока не считается критической.

4. Итог

ИИ продолжает разрушать барьеры между культурами и языками. Несмотря на то, что «покрытие» редких языков ещё не стало обязательным требованием, тенденция к более широкому охвату аудитории уже видна и, как ожидают эксперты, будет усиливаться в ближайшие годы.