NVIDIA H100 Tensor Core
80 ГБ памяти и Transformer Engine: Tensor Core четвёртого поколения считают в FP8 — это вдвое больше пиковых TFLOPS, чем в FP16. Для обучения и инференса LLM.
Характеристики H100 SXM
H100 против A100
Пиковые характеристики H100 SXM и A100 80GB SXM по спецификациям NVIDIA. Реальное ускорение зависит от того, во что упирается задача: в вычисления или в память. У PCIe-версий H100 характеристики отличаются.
Сравнение поколений
| Характеристика | A100 80GB SXM | H100 SXM |
|---|---|---|
| Архитектура | Ampere | Hopper |
| FP16 Tensor, с разреженностью | 624 TFLOPS | 1,979 TFLOPS |
| Пропускная способность | 2.0 TB/s | 3.35 TB/s |
| FP64 Tensor Core | 19.5 TFLOPS | 67 TFLOPS |
| Transformer Engine | Нет | Есть (FP8) |
Для каких задач?
Обучение LLM
Предобучение и дообучение языковых моделей в BF16 и FP8. В многокарточных серверах на SXM карты связаны NVLink на 900 ГБ/с.
Генерация изображений и видео
Диффузионные модели вроде FLUX.1 помещаются в 80 ГБ в BF16 целиком, с запасом под батч и высокое разрешение.
Научные симуляции
67 TFLOPS FP64 на Tensor Core у версии SXM: геномика, квантовая химия, климатические модели.
Готовы запустить H100?
Разверните свой инстанс H100 за несколько минут. Без долгосрочных контрактов.