Новые устройства могут преодолеть "стек памяти" ИИ

США - Информационное агентство Эхбари

Прорыв в технологии памяти обещает преодолеть барьер производительности ИИ

В разработке, которая может произвести революцию в области искусственного интеллекта, команда исследователей из Калифорнийского университета в Сан-Диего (UCSD) представила новаторское достижение в области резистивной оперативной памяти (RRAM). Это достижение напрямую решает одну из самых серьезных проблем, с которой сталкиваются современные системы ИИ, – печально известный "стек памяти". Этот барьер возникает из-за значительных временных и энергетических затрат, необходимых для постоянной передачи данных между процессорами и памятью, даже для высокооптимизированных моделей ИИ.

Изобретательность объемной RRAM, уложенной в 3D-структуру, разработанной командой UCSD, заключается в ее способности выполнять вычислительные задачи непосредственно в самих ячейках памяти. Этот подход, часто называемый "вычислениями в памяти" (in-memory computing), устраняет необходимость в постоянном, энергоемком перемещении данных, открывая путь к беспрецедентной скорости и эффективности в обработке ИИ.

Преодоление ограничений традиционной памяти

Традиционно устройства RRAM хранят данные, изменяя свое электрическое сопротивление. Однако обычные технологии RRAM часто страдали от нестабильности и сложности, ограничивая их практическое применение, особенно в таких требовательных к данным областях, как ИИ. Основная проблема традиционной RRAM заключается в ее зависимости от образования проводящих "нитей" (filaments) внутри резистивного материала. Создание этих нитей обычно требует высоких напряжений, часто несовместимых со стандартными процессами производства комплементарных металл-оксид-полупроводников (CMOS), что препятствует бесшовной интеграции в современные процессоры. Кроме того, процесс образования нитей является шумным и случайным, что приводит к неточностям в данных – критическому недостатку для моделей глубокого обучения, которые зависят от точных значений весов.

Чтобы обойти эти ограничения, исследователи UCSD под руководством инженера-электрика Дуйгу Кузум фундаментально переработали архитектуру RRAM. Вместо того чтобы полагаться на образование нитей, они разработали новый вариант, известный как "объемная RRAM" (bulk RRAM). В этой новой конструкции весь слой материала переключается между состояниями высокого и низкого сопротивления, а не образует локализованные нити. Этот подход позволяет избежать необходимости формирования нитей при высоком напряжении, а также устраняет необходимость в "транзисторах-селекторах" для изоляции, которые ранее были необходимы для изоляции ячеек в традиционной RRAM. Это упрощение значительно облегчает сложный процесс трехмерного стекирования.

Инновации в 3D-стекировании и емкости хранения

Хотя концепция объемной RRAM не нова, группа UCSD добилась значительных успехов в миниатюризации этих устройств и их интеграции в функциональные 3D-схемы. Исследователям удалось уменьшить устройства RRAM до нанометрового масштаба, при этом отдельные устройства имели диаметр всего 40 нанометров. Важно отметить, что им удалось уложить эти объемные RRAM устройства в впечатляющие восемь слоев. Каждая ячейка в этой восьмислойной стопке может представлять шесть бит данных, что позволяет ей хранить 64 различных уровня сопротивления с помощью одного импульса напряжения. Достичь такого высокого уровня точности в состояниях сопротивления чрезвычайно сложно с помощью традиционной RRAM на основе нитей.

Кроме того, новые объемные RRAM стопки работают в диапазоне сопротивления мегаом (МОм), что значительно выше килоом (кОм), типичного для RRAM на основе нитей. Доктор Кузум отмечает, что этот более высокий диапазон сопротивления особенно выгоден для параллельных операций, что еще больше повышает эффективность вычислений в памяти.

Практическое применение: нейронные сети с непрерывным обучением

Чтобы продемонстрировать потенциал технологии, исследователи сконструировали массив памяти объемом 1 килобайт, используя несколько восьмислойных объемных RRAM стопок, причем примечательно, что для этого не потребовалось никаких транзисторов-селекторов. Этот массив был затем протестирован с помощью алгоритма непрерывного обучения, которому было поручено классифицировать данные с носимых датчиков, непрерывно интегрируя новую информацию. Например, данные с носимого смартфона могли быть использованы для точного определения активности пользователя, такой как сидение, ходьба или подъем по лестнице. Тесты показали впечатляющую точность в 90%, что сопоставимо с производительностью цифровых нейронных сетей.

Доктор Кузум считает, что эта технология особенно хорошо подходит для моделей ИИ, развернутых на периферийных устройствах (edge devices), которым необходимо обучаться и адаптироваться к окружающей среде без постоянного подключения к облаку. "Мы проводим обширную характеризацию и оптимизацию материалов для разработки устройства, специально спроектированного для приложений ИИ", - заявила Кузум.

Будущие вызовы и перспективные возможности

Алек Талин, материаловед из Sandia National Laboratories и исследователь в области объемной RRAM, не участвовавший в исследовании, назвал это достижение в области интеграции весьма ценным. Однако Талин выделил потенциальную проблему: сохранение данных в течение длительного времени, особенно при повышенных температурах, встречающихся в рабочих вычислительных средах. В то время как группа UCSD продемонстрировала сохранение данных в течение нескольких лет при комнатной температуре, сравнимое с флэш-памятью, ее производительность при более высоких рабочих температурах остается предметом дальнейшего изучения. "Это одна из главных проблем этой технологии", - отметил Талин, особенно в отношении периферийных приложений.

Если инженерам удастся решить эти проблемы, технология объемной RRAM может принести существенные преимущества всем типам моделей ИИ. "Стек памяти" стал все более серьезным препятствием в этом десятилетии, поскольку традиционная память с трудом справляется с растущими требованиями крупномасштабных моделей ИИ. Любая технология, позволяющая выполнять вычисления непосредственно в памяти, предлагает критически важный путь для развития следующего поколения интеллектуальных систем.

Ссылка на Информационное агентство Эхбари