Сложности архивирования в сети растут: Wayback Machine и Wikimedia испытывают нехватку HDD-пространства

Кризис хранения данных: как рост цен на накопители тормозит крупнейшие архивные проекты

Накопители становятся всё более дорогими и редкими, а это усложняет работу тех организаций, которые ежедневно сохраняют огромный объём информации из интернета.

1. Почему цены растут

* Жёсткие диски (HDD) теперь стоят в три раза дороже прежнего уровня.
* Рост спроса со стороны крупных корпораций и облачных провайдеров вынудил производителей сократить поставки, что привело к дефициту.

2. Как это затрагивает Internet Archive

* Искусственный интеллект усилил нагрузку: модели обучаются на огромных датасетах, которые часто берутся из архивов.
* Идеальные накопители – 28–30 ТБайт HDD – почти не встречаются в продаже либо стоят по завышенным ценам.
* Организация вынуждена искать спонсоров и получать лишь советы от сообщества.

3. Проблемы Wikimedia

* На платформе более 65 миллионов статей — это требует больших вычислительных ресурсов и тщательно распределённого бюджета.
* Сложности возникают при:
* Закупке памяти и дисков;
* Доставке серверов;
* Планировании будущих заказов.

4. Усложнение архивирования

* Большие языковые модели ИИ используют огромные датасеты, которые иногда добываются незаконно.
* Владельцы сайтов блокируют доступ к своим ресурсам, не различая «злоумышленников» и «добросовестных сервисов», собирающих данные для образования.
* В результате:
* Небольшие энтузиасты вынуждены сокращать или приостанавливать работу;
* Ожидание стабилизации цен на накопители.

Итог

Рост стоимости и дефицит HDD создают серьёзные барьеры для некоммерческих архивов. Без новых источников финансирования и более доступных технологий сохранение истории интернета может стать практически невозможным.