Вы, возможно, пропустили оптические и термодинамические чипы.

Вы, возможно, пропустили оптические и термодинамические чипы.

История аналоговых компьютеров началась ещё давно, примерно с архитектора Антонио Гауди, который делал верёвочные расчётные модели, которые динамически считали нагрузки на здания. Где-то рядом тусовались гидравлические компьютеры для решения дифуров. А вот теперь пришла пора оптики и термодинамики, потому что нам нужно больше нейросетей.

Первая работа про термодинамические. Идея в том, что уравнения, которые описывают сложные вероятностные модели в ИИ, очень похожи на уравнения, описывающие поведение физических систем. Вот, кстати, как решать линейную алгебру термодинамикой.

Построили стохастический процессор (SPU). Это плата с 8 ячейками с контурами из резистора, катушка индуктивности и конденсатора. Они умеют колебаться. Все 8 ячеек соединены друг с другом “каждый с каждым” через управляемые конденсаторы. Силу связи между ячейками можно программно менять. В систему подается электрический шум. Под действием этого шума и взаимных связей напряжения и токи в ячейках начинают случайным образом колебаться, но в итоге приходят в состояние термодинамического равновесия. Параметры этого равновесного состояния и есть результат вычислений.

Узнаёте сэмплирование из Гауссова распределения? А этот суслик там есть. Ещё можно инвертировать матрицу — кодируем 8x8 в значения ёмкостей конденсаторов, связывающих ячейки. Считаем ковариант, и дальше всё просто. Короче, всё решается численными методами быстро и жарко.

Дальше они смоделировали SPU для задач большой размерности (например, инвертирование матрицы 10000x10000) и сравнили с мощной видеокартой NVIDIA A6000. Для задач размерности от 3 тысяч SPU начинает обгонять GPU. При размере 10000x10000 он может быть в 10 раз быстрее. И потребляет на порядки меньше энергии, чем GPU, причём даже с малых задач. Есть точка термодинамического преимущества, после которой аналоговый физический компьютер становится эффективнее цифрового.

Чип из этого пока не сделать, нужно уменьшать контуры. Это реалистично. Пока они ходят со своей платой и просят грант дальше.

Вот тут есть ещё одна крутая работа — не в Природе, а просто в “Прикладной физике” из 2021 года. Там матмодель компьютера на вероятностных битах, 3-транзисторная реализация p-бита на основе стохастических магнитных туннельных переходов. Железка использует естественные термические флуктуации в наномагнитах для генерации истинных случайных чисел за наносекунды. Архитектура очень помогает решать всякие оптимизационные задачи типа отжигов.

Теперь оптические модели.

Тут одна прикладная задача генеративной сети по диффузионной генерации картинки. Сейчас это делают цифровые компьютеры классических архитектур, а можно тупо оптической системой из линз и палок. — На входе шум подается в небольшую нейросеть, неглубокий кодировщик, она делает фазовую карту. — Свет проходит через модулятор и его волновой фронт меняется в соответствии с фазовой картой. — Измененный свет попадает на дифракционный декодер. Это поверхность, которая “натренирована” (предсгенерена) на определенную задачу (например, “рисовать” рукописные цифры). Это условно похоже на то, что для разных струй воды (с разной силой и разной формы) есть лабиринт, где они ударяются о стенки и формируют на выходе одну из 10 цифр с некоторыми вариациями начертания. — После прохождения через декодер свет преломляется и рассеивается таким образом, что на сенсоре появляется готовое изображение.

То есть долгие подготовки матриц и быстрая генерация за время прохождения света. В прототипах у них были цифры, мода, бабочки, лица людей и картины Ван Гога. Качество изображений примерно как результаты цифровых нейросетей.

Можно пускать зашумлённый результат снова на вход.

Тоже не масштабируется, тоже огромный потенциал решения узких задач, тоже дайте денег.

Работу принёс @ha1ex, бизнес-лидер Кайтена — с канала @alexkhalezov, где он пишет про этот самый Кайтен.

— Вступайте в ряды Фурье! | Самые интересные посты — Ой! Я даже не знаю разницы между радиусом и диаметром окружности. Какая разница между радиусом и диаметром? — Радиус!