Учёные показали, что «горячие» Ising-машины можно обучать обычным backprop и получать точность на уровне обычных нейросетей.
Группа исследователей опубликовала работу, в которой обучила свёрточные сети для термодинамических вычислительных устройств стандартным методом обратного распространения ошибки — и получила 94,9% точности на CIFAR-10 и 76% на CIFAR-100. Это не рекорд для классификации картинок, обычные GPU давно бьют эти цифры. Ценность в другом: числа получены на модели, которая физически предназначена для железа на основе модели Изинга — чипов, где вычисление идёт за счёт теплового шума, а не переключения транзисторов.
Идея термодинамических вычислений не нова: если взять систему из связанных бинарных элементов и дать ей термически «остыть» до равновесия по Гиббсу, усреднённое по времени поведение такой системы можно интерпретировать как прямой проход нейросети. Теория это предсказывала давно,但 обучать под неё модели в масштабе, пригодном для реальных задач, толком не получалось — слишком дорого было мостить разрыв между идеализированной физикой и практическим тренировочным циклом.
Авторы предлагают конкретный рецепт: превратить теоретическое соответствие Гиббс-сэмплинга и нейронного вывода в обучаемый алгоритм, который работает через привычный backprop, а не через экзотические физические симуляции на каждом шаге. Отдельно они вывели математику, связывающую стоимость вывода (сколько времени системе нужно «сэмплировать») с итоговой точностью, и научились контролировать время автокорреляции — по сути, то, как быстро термодинамический чип забывает свою предыдущую конфигурацию и выдаёт новый независимый образец.
Здесь и зарыт настоящий инженерный вопрос. Чем дольше система сэмплирует, тем точнее ответ, но тем дороже вычисление — а вся идея термодинамического AI была именно в дешевизне и низком энергопотреблении на edge-устройствах. Авторы показывают, что этот компромисс не произволен: стоимость вывода ограничена предсказуемой асимптотикой, и можно строить оптимальные расписания сэмплирования вместо того, чтобы гадать на глаз. Это превращает термодинамические чипы из красивой физической демонстрации в что-то, что можно инженерно спроектировать под конкретный бюджет энергии и задержки.
Пока речь идёт о симуляциях и теоретических выкладках, а не о готовом кремнии на столе — статья прямо говорит только об «имплициях для развития железа», а не о железе, которое уже работает. И сравнение с CIFAR — это скорее proof of concept, чем заявка на прикладное превосходство: датасеты маленькие, а конкуренция с обычными ускорителями за них давно выиграна не термодинамикой. Настоящая проверка начнётся, когда кто-то соберёт чип на этих принципах и прогонит через него что-то крупнее игрушечной классификации.
Тем не менее это первая работа, где связь между физикой Изинга-машин и практическим глубоким обучением закрыта не декларативно, а конкретным алгоритмом с гарантиями по точности и цене. Для тех, кто следит за темой, детали и связанные публикации можно поднять через NASA ADS, карту цитирований на Connected Papers или разметку связей на Litmaps. Профиль статьи есть и в Google Scholar, а данные о цитировании — в Semantic Scholar. Для тех, кто хочет посмотреть код и попытки воспроизведения, обычно полезен CatalyzeX.
Originally posted on arxiv.org
Top comments (0)