Запуск ИИ‑модели на старом PDP‑11: энтузиаст использовал 6 МГц CPU и 64 КБ RAM

Ветеран Microsoft демонстрирует работу трансформера на старом компьютере

*Дэйв Пламмер (Dave Plummer) – известный разработчик Windows,*
*показывает, что современные ИИ‑модели можно обучать даже на оборудовании десятилетней давности.*

Что было сделано

- Оборудование: PDP‑11 / 44, 47‑летний компьютер с процессором 6 МГц и 64 КБ ОЗУ.
- Модель: «Attention 11» – трансформерная сеть, написанная на ассемблере PDP‑11 Дамьеном Буре (Damien Buret).
- Задача обучения: построить обратную последовательность из восьми чисел.
Модели не нужно запоминать примеры; она должна выучить правило «переворачивания» последовательности.

Как это работает

1. Инициализация – модель начинает с произвольных весов, точность почти нулевая.
2. Обучение – в каждом шаге выполняется прямой проход (8‑битная фиксированная точка) и обновление весов.
3. Постепенное усвоение паттерна – после нескольких сотен итераций механизм внимания «обнаруживает» правило, а модель переходит от угадывания к реальному знанию.

> “Мы наблюдаем упрощённую анатомию самого обучения… машина в итоге пересекает невидимую черту — от угадывания к знанию.” – Пламмер

Результаты

- Точность: 100 % на задаче обратной последовательности.
- Скорость: около 350 шагов обучения, что заняло ~3,5 минуты на PDP‑11/44 с кеш‑памятью.

Что это значит для современного ИИ

Пламмер подчёркивает, что фундаментальные принципы обучения – повторяющиеся арифметические операции и корректировка ошибок – полностью реализованы даже в такой простой системе.
«Эта старая машина не мыслит мистически; она просто обновляет несколько тысяч чисел. Суть современного ИИ – масштабирование этого процесса.»

Таким образом, автор доказал, что базовый механизм трансформеров остаётся тем же, независимо от того, на каком оборудовании они работают.