Зачем AMD это сделали? Instinct MI350P на 144 ГБ

Страницы:  1

Ответить
 

Professor Seleznov


Актуальное на сегодняшний день поколение серверных ускорителей AMD — это MI350X и MI355X на архитектуре CDNA 4. На борту — 288 ГБ HBM3E и 8 ТБ/с пропускной способности на модуль. Разница между ними — в тепловом пакете: MI350X охлаждается воздухом, а MI355X требует жидкостного охлаждения. Эти устройства поставляются в серверах в восьмикарточной конфигурации — суммарно получается 2,3 ТБ HBM3E, связанных через Infinity Fabric. Это уже серьезные машины для обучения и инференса больших моделей — с соответствующей ценой и требованиями к электроснабжению и охлаждению.
Несколько дней назад AMD анонсировали GPU Instinct MI350P — первую с 2022 года PCIe-карту серии Instinct, которая устанавливается в любой сервер с поддержкой двухслотовых GPU с воздушным охлаждением. Удобно и универсально, новинку точно стоит рассмотреть подробнее.
pic
Вид на внутреннее устройство AMD Instinct MI350P: архитектура CDNA 4 с использованием техпроцесса TSMC 3 нм и продвинутой компоновки чиплетов.Источник.
Технические характеристики AMD Instinct MI350P
Если коротко: AMD Instinct MI350P — это буквально половина MI350X.
  • Техпроцесс XCD: TSMC N3 — такой же, как у MI350X.
  • Техпроцесс IOD: TSMC N6 — один кристалл в MI350P вместо двух у MI350X. У предшественника восемь XCD-кристаллов (вычислительных чиплетов), а у MI350P — четыре.
Из этого вытекает все остальное. 
  • Вычислительные блоки: 128 CU — 8 192 потоковых процессора и 512 матричных ядер. 
  • Производительность (MXFP4): номинальные 2,3 Пфлопс и пиковые 4,6 Пфлопс.
  • FP64: 36 Тфлопс (вектор и матрица).
  • Память: 144 ГБ HBM3E.
  • Пропускная способность памяти: 4 ТБ/с.
  • Кэш: 128 МБ Infinity Cache.
  • TBP: 600 Вт (можно снизить до 450 Вт в режиме пониженного энергопотребления).
  • Питание: 16-контактный разъем.
  • Интерфейс: PCIe 5.0 x16.
  • Форм-фактор: двухслотовый FHFL, воздушное охлаждение.
  • Декодеры: H.265, H.264, VP9, AV1 + (M)JPEG.
AMD не реализовала на MI350P прямые GPU-to-GPU каналы через Infinity Fabric. Все межкарточное взаимодействие происходит через PCIe 5.0 x16 с соответствующим ограничением по скорости. Так, восемь карт в сервере — это восемь изолированных ускорителей, без возможности объединения. И это один из главных недостатков будущих GPU.
Сравнение с конкурентами
pic
Система NVIDIA H200 NVL: объединение до четырех GPU.Источник.
Сегодня популярные GPU в форм-факторе PCI, приближенные по характеристикам, — это NVIDIA H200 NVL и NVIDIA RTX Pro 6000. По сочетанию цены и производительности мы сами используем эти устройства в наших дата-центрах.
AMD Instinct MI350P NVIDIA H200 NVL (PCIe) NVIDIA RTX Pro 6000 Blackwell
Архитектура CDNA 4 Hopper Blackwell
Память 144 ГБ HBM3E 141 ГБ HBM3E 96 ГБ GDDR7
Пропускная способность памяти 4,0 ТБ/с 4,8 ТБ/с 1,79 ТБ/с
FP32 72 Тфлопс 60 Тфлопс 120 Тфлопс
FP8 2,3 Пфлопс 3,341 Пфлопс* 2 Пфлопс
FP16 1,15 Пфлопс 1,671 Пфлопс* 1 Пфлопс
TBP/TDP 600 Вт 600 Вт 600 Вт
Межчиповый интерконнект нет NVLink ( до 4 GPU) нет

*У NVIDIA H200 эти значения указаны с разреженностью, у AMD и RTX PRO 6000 — без явной пометки. Прямое сравнение условно, для расчетов с разряженностью значения необходимо разделить на два.
MI350P — прямой конкурент H200 NVL. У карт одинаковые форм-фактор, энергопотребление, сопоставимый объем HBM3E. Можно сказать, AMD заходит с более свежей архитектурой CDNA 4 против Hopper 2022 года, ведь производительность compute-части карты может быть выше.
Единственное, что MI350P не закрывает, — это вопрос с NVLink: объединить карты в единый пул у AMD не получится. Для больших моделей и инференса это может быть важно. Кроме того, важным фактором будет стоимость. H200 NVL продают на рынке за 30 000–40 000 $, AMD же цену не раскрыла.
Помимо представленных моделей Intel готовится позже показать миру GPU Crescent Island. Предварительно новинка сможет похвастаться 160 ГБ LPDDR5X — принципиально другим типом памяти.
pic
Арендуйте GPU за 1 рубль!
Выберите нужную конфигурацию в панели управления Selectel. *
Подробнее →
Партнеры и экосистема
Устройство поддерживают Dell, HPE, Gigabyte, Supermicro, Lenovo — список партнеров на странице продукта длинный. Впрочем, это логично: MI350P — стандартный двухслотовый FHFL на 600 ВТ, поэтому новая видеокарта встанет в любой сервер, который физически рассчитан на такие карты.
Экосистема, то есть программный стек, базируется на Kubernetes GPU Operator и AMD Inference Microservices. Также производитель заявляет о нативной поддержке PyTorch. В то же время SR-IOV уже поддерживается, что позволяет делить карту на четыре vGPU.
По части ROCm стек заметно повзрослел за последние полтора года. Западные гиганты уже используют железо AMD в продакшене, а MI355X на MLPerf Inference 6.0 в апреле 2026 года показал результаты в пределах однозначных процентов от B200. Для новых пайплайнов, где нет жесткой привязки к CUDA, ROCm сегодня — рабочий вариант. А вот для миграции существующего продакшена с кастомными CUDA-ядрами все еще потребуется приложить усилия.
Подводим итоги
MI350P закрывает пробел в портфеле AMD: карта хорошо подходит для клиентов, кому нужен инференс небольших моделей на одном хосте. Железо сильное: CDNA 4, 144 ГБ HBM3E, 600 Вт в стандартном двухслотовом форм-факторе. ROCm дорос до уровня, когда его можно рассматривать всерьез, а не только как эксперимент.
Главный вопрос, который AMD пока оставила без ответа, конечно, заключается в стоимости. Именно от того, куда AMD поставит MI350P в сравнении с H200 NVL, зависит, может ли карта стать реальной альтернативой… В противном случае — просто пополнит список «технически интересно, но непонятно зачем». Так что продолжаем следить за новостями. -Источник
 
Loading...
Error