Сервер на 8 видеокарт: как выбрать 8-GPU сервер для ИИ и LLM

Сервер на 8 видеокарт нужен там, где одной, двух или четырех GPU уже недостаточно по объему видеопамяти или вычислительной мощности. Такие системы используют для обучения больших языковых моделей, работы с генеративным ИИ, тяжелого инференса, HPC и других задач, которые хорошо масштабируются между несколькими ускорителями.

Но 8-GPU сервер нельзя рассматривать просто как «восемь мощных видеокарт в одном корпусе». Производительность всей системы зависит от того, как GPU связаны между собой, хватает ли пропускной способности памяти, CPU, накопителей и сети, а также рассчитаны ли питание и охлаждение на длительную нагрузку.

Переход на восемь ускорителей оправдан не во всех проектах. Для небольшой модели или умеренной нагрузки покупка такой системы может оказаться избыточной.

8-GPU сервер обычно выбирают в нескольких случаях:

Например, восемь NVIDIA H100 80 GB дают суммарно 640 ГБ GPU-памяти. При использовании восьми NVIDIA H200 141 GB общий физический объем HBM-памяти возрастает до 1128 ГБ. При этом в реальной задаче важно учитывать, каким способом модель распределяется между ускорителями - общий объем памяти сам по себе еще не означает, что приложение автоматически сможет использовать его как единый пул.

В multi-GPU системе критична не только производительность каждого ускорителя, но и скорость обмена между ними.

Если части одной модели находятся на разных GPU, ускорителям приходится постоянно передавать данные друг другу. При обучении крупных нейросетей объем такого обмена может быть очень высоким. Медленное соединение между GPU способно стать узким местом даже при наличии восьми дорогих ускорителей.

Поэтому для тяжелого обучения LLM часто используются SXM-платформы с NVLink и NVSwitch. Например, Supermicro SYS-821GE-TNHR рассчитан на NVIDIA HGX H100 или H200 с восемью GPU и использует NVLink/NVSwitch для межGPU-обмена.

Для задач, где GPU работают более независимо друг от друга, могут использоваться и PCIe-конфигурации. Они дают больше гибкости при выборе ускорителей и архитектуры сервера, но при подборе такой системы особенно важно заранее понимать характер нагрузки.

Оба варианта относятся к поколению Hopper, но рассчитаны на несколько разные требования.

NVIDIA H100 80GB SXM оснащена 80 ГБ HBM3 и поддерживает NVLink. Такой ускоритель подходит для обучения LLM, генеративного ИИ, HPC и построения производительных multi-GPU систем.

NVIDIA H200 141GB SXM получила 141 ГБ HBM3e на GPU и более высокую пропускную способность памяти. В 8-GPU конфигурации это особенно важно для моделей и сценариев, которые ограничены прежде всего объемом видеопамяти и скоростью работы с ней.

NVIDIA A100 80GB SXM остается рабочим вариантом для проектов, где не требуется производительность поколения Hopper или нужно использовать уже существующую инфраструктуру на архитектуре Ampere.

Выбирать стоит не просто количество видеокарт, а готовую серверную платформу, рассчитанную именно на такую плотность GPU.

Например, Supermicro SYS-821GE-TNHR поддерживает восемь NVIDIA H100 или H200 в составе HGX-платформы. Это вариант для обучения моделей, AI-инференса, HPC и вычислительных кластеров.

Альтернативой на процессорах AMD EPYC является Supermicro AS-8125GS-TNHR. Сервер также рассчитан на HGX H100/H200 8-GPU и использует NVLink и NVSwitch.

Еще один вариант - Supermicro SYS-621GE-TNRT с поддержкой 8× NVIDIA H100 HGX. Такая система ориентирована на LLM, AI-инфраструктуру и HPC.

Если требуется готовая интегрированная система NVIDIA, можно рассматривать NVIDIA DGX H100. Она включает восемь H100 и 640 ГБ GPU-памяти, а также NVLink/NVSwitch и сетевую инфраструктуру для дальнейшего масштабирования.

Ошибка при выборе 8-GPU сервера - потратить большую часть бюджета на ускорители, а остальные компоненты подбирать по остаточному принципу.

Процессоры должны успевать готовить данные для GPU и обслуживать сопутствующие процессы. Объем системной памяти зависит от пайплайна, размера датасета и способа загрузки данных. Для тяжелых конфигураций обычно требуется уже не несколько сотен гигабайт RAM, а значительно больший запас.

То же касается NVMe. Если обучение постоянно ожидает загрузки очередных данных с накопителей, восемь GPU будут простаивать независимо от их вычислительной мощности.

При работе нескольких таких серверов появляется еще один критичный компонент - сеть. Скорость соединения между узлами непосредственно влияет на эффективность распределенного обучения.

Восемь серверных GPU создают очень высокую тепловую нагрузку. Только восемь H100 SXM с TDP до 700 Вт на ускоритель могут потреблять до 5,6 кВт без учета CPU, памяти, накопителей, сетевых адаптеров и других компонентов сервера.

Поэтому 8-GPU сервер необходимо подбирать с учетом реальных возможностей площадки:

Для одной системы эти вопросы уже важны, а при построении кластера становятся частью архитектуры всего дата-центра.

Начинать подбор лучше не с конкретной модели сервера, а с рабочей нагрузки.

Сначала необходимо определить размер модели и требуемый объем GPU-памяти. Затем - понять, идет речь об обучении, fine-tuning или инференсе. После этого оцениваются необходимое количество GPU, требования к связи между ними, CPU, RAM, NVMe и сети.

Для больших моделей важен не только ответ на вопрос «помещается ли модель в память», но и запас под активации, KV cache, optimizer states, batch size и другие данные, возникающие непосредственно во время работы.

Поэтому две системы с одинаковыми восемью GPU могут показывать совершенно разный результат в одной и той же задаче, если отличаются архитектурой межсоединений, накопителями, сетью или настройкой программного стека.

Сервер на 8 видеокарт имеет смысл для действительно тяжелых AI- и HPC-нагрузок, где требуется большой объем GPU-памяти, высокая вычислительная мощность и эффективная работа нескольких ускорителей как единой системы.

При выборе 8-GPU сервера необходимо учитывать не только модели видеокарт. Для обучения LLM и тесно связанных multi-GPU вычислений особенно важны NVLink/NVSwitch, достаточный объем RAM, быстрые NVMe, производительная сеть, питание и охлаждение.

GetCore поставляет и конфигурирует GPU-серверы под конкретные AI-нагрузки. Конфигурацию можно подобрать под размер модели, режим обучения или инференса, требования к памяти и дальнейшему масштабированию инфраструктуры.