NVIDIA H200 Tensor Core
Hopper с памятью HBM3e: 141 ГБ при 4.8 ТБ/с — почти вдвое больше объёма, чем у H100, и в 1.4 раза выше пропускная способность. Вычислительная часть у карт одинаковая.
Характеристики H200 SXM
H200 против H100
При генерации каждого токена LLM читает веса модели из памяти, поэтому скорость инференса часто ограничена пропускной способностью памяти, а не TFLOPS.
Предварительные замеры NVIDIA, пропускная способность в токенах. Llama 2 70B на одной карте: вход 2K, выход 128 токенов, батч 8 на H100 и 32 на H200. GPT-3 175B на 8 картах: вход 80, выход 200 токенов, батч 64 и 128. Больший батч на H200 возможен за счёт памяти.
H100 vs H200
SXM| Спецификация | NVIDIA H100 | NVIDIA H200 |
|---|---|---|
| Тип памяти | HBM3 | HBM3e |
| Объём памяти | 80 GB | 141 GB |
| Пропускная способность | 3.35 TB/s | 4.8 TB/s |
| FP8 Tensor, с разреженностью | 3,958 TFLOPS | 3,958 TFLOPS |
| Llama 2 70B, замер NVIDIA | 1x | 1.9x |
Для каких задач
Когда модели или KV-кэшу не хватает 80 ГБ H100.
Инференс LLM
Модель на 70B параметров в FP8 занимает около 70 ГБ — остальная память уходит под KV-кэш и батч. 4.8 ТБ/с ускоряют генерацию токенов, которая упирается в чтение весов.
MoE-модели
В памяти должны лежать все эксперты, хотя на каждый токен работает только часть. Mixtral 8x7B (46.7B параметров) в BF16 занимает около 93 ГБ и помещается в одну H200.
Обучение и дообучение
141 ГБ на карту позволяют взять больший батч или модель крупнее, чем на H100, при том же числе GPU.
Готовы запустить H200?
Арендуйте H200 поминутно: драйверы и CUDA уже установлены, сервер поднимается за несколько минут.