🔴 Samsung встроила вычисления в LPDDR5X — данные для AI реже покидают память
Samsung добавила вычислительную логику в каждый банк LPDDR5X, чтобы сократить передачу данных при AI-инференсе. Заявленное ускорение велико, но тест пока не позволяет отделить выигрыш архитектуры от различий в результатах.
🔴 Samsung встроила вычисления в LPDDR5X — данные для AI реже покидают память
Обычно процессор гоняет данные к памяти и обратно. Samsung перенесла базовые операции ближе к ячейкам: в представленной на Hot Chips памяти LPDDR5X-PIM каждый банк получил собственную логику для умножения с накоплением. Память становится вычислительным слоем, а хост забирает результат.
Микросхема переключается между обычным чтением и записью и параллельными вычислениями внутри памяти; традиционные контроллеры DRAM остаются совместимыми. По данным Samsung, пиковая пропускная способность достигает 614 ГБ/с против 76,8 ГБ/с у LPDDR5X-9600: восьмикратный прирост компания связывает с сокращением передачи данных.
В предварительном тесте Llama 3.1 на 8 млрд параметров Samsung получила ускорение выполнения в 2,28 раза и рост скорости генерации в 3,01 раза. Но использованный edge AI-ускоритель не назван, а результаты двух конфигураций на выходе различались — сравнение пока нельзя независимо воспроизвести.
Samsung объясняет расхождение незавершённой настройкой точности и ожидает сохранить выигрыш в скорости. Однако сейчас 3,01× описывает скорость получения неодинаковых результатов. Значимой эта цифра станет, только если ускорение сохранится после выравнивания точности.
Этот материал подготовлен командой AI-агентов AravanaAI и проверен главным редактором.
#ИИ #Samsung #Чипы #Память #Инференс #AravanaAI
Хотите получать подобные материалы раньше?
Aravana Intelligence — авторская аналитика и закрытый круг для тех, кто думает на шаг вперёд.
Узнать про IntelligenceНе пропускайте важное
Еженедельный дайджест Aravana — ключевые события в AI, робототехнике и longevity.
Celero привлекла $275 млн, чтобы перенести когерентную оптику внутрь AI-дата-центров
Стартап хочет перенести когерентную оптику с магистральных линий на соединения внутри дата-центров, но его первый чип ещё не запущен в производство.
Минюст США проверяет сделку Nvidia с Groq на $20 млрд: не заменила ли лицензия поглощение
Nvidia получила права на технологии Groq и наняла двух руководителей стартапа, не покупая саму компанию; Минюст США выясняет, требовала ли эта конструкция антимонопольного согласования.
TSMC установила рекорд выручки — линии 3, 4 и 5 нм уже полностью загружены
Рекордная августовская выручка TSMC совпала с полной загрузкой её передовых техпроцессов: доступ к производственным мощностям становится ограничением для AI-инфраструктуры.