При выборе сервера для больших языковых моделей недостаточно ориентироваться только на количество GPU. Значение имеют объём HBM, поддерживаемые форматы вычислений и производительность обмена между ускорителями.
Supermicro AS-8126GS-TNMR позволяет учитывать эти требования при выборе MI325X или MI350X.
Конфигурация с
AMD Instinct MI350X предлагает 288 ГБ HBM3E на каждый GPU и архитектуру CDNA 4 с поддержкой низкоточных форматов MXFP4 и MXFP6. Это особенно актуально для инференса крупных LLM и современных AI-нагрузок, использующих такие форматы.
Для каких проектов подходит сервер:- обучение больших языковых моделей
- инференс LLM с длинным контекстом
- мультимодальные нейросети
- масштабное дообучение моделей
- инженерные и научные расчёты
- биоинформатика и климатические симуляции
- корпоративные AI/HPC-кластеры
Платформа также предусматривает восемь NVMe-накопителей для локального кэширования датасетов, checkpoints и временных вычислительных данных. Свободные PCIe 5.0 слоты позволяют установить высокоскоростные сетевые адаптеры для работы с внешним хранилищем и другими вычислительными узлами.
Для проектов, использующих AMD ROCm,
AS-8126GS-TNMR позволяет построить серверную инфраструктуру на ускорителях нового поколения. При подборе учитываются не только характеристики GPU, но и совместимость фреймворков, требования к сети, хранению данных и охлаждению.
Если проект уже использует MI300X, можно также рассмотреть
Supermicro AS-8125GS-TNMR2 для сравнения поколений и вариантов конфигурации.