Самая быстрая память в мире
NVIDIA H200 Tensor Core
Первый GPU с памятью HBM3e. 141 ГБ сверхбыстрой памяти для мгновенного инференса самых больших языковых моделей.
~400 ₽ / час
Рекордные характеристики
Архитектура
NVIDIA Hopper™
VRAM
141 GB HBM3e TOP
Пропускная способность
4.8 TB/s TOP
FP8 Tensor Core
3,958 TFLOPS
Интерконнект
NVLink 900 GB/s
Потребление (TDP)
700W (SXM5)
Больше памяти = Быстрее вывод
В задачах генеративного ИИ "бутылочным горлышком" часто является память, а не вычисления. H200 решает эту проблему благодаря памяти HBM3e.
Llama 3 70B Inference 1.9x быстрее
H200
H100
GPT-3 175B Inference 1.6x быстрее
H200
H100
HPC (Simulation) 1.1x быстрее
H200
H100
H100 vs H200
SXM5 Form Factor| Спецификация | NVIDIA H100 | NVIDIA H200 |
|---|---|---|
| Тип Памяти | HBM3 | HBM3e (New) |
| Объем Памяти | 80 GB | 141 GB |
| Bandwidth | 3.35 TB/s | 4.8 TB/s |
| Llama 70B Inference | 1x Speed | 1.9x Speed |
Game Changer для LLM
Когда производительность H100 уже недостаточна.
LLM Inference
Запуск моделей 70B+ параметров с максимальной скоростью токенов в секунду (TPS). Убийца задержек.
MoE (Mixture of Experts)
Идеально подходит для моделей типа Mixtral и Grok, требующих огромного объема быстрой памяти.
Hybrid Training
Обучение моделей, которые не помещаются в память H100, без необходимости разбиения на большее кол-во GPU.
Готовы запустить H200?
Ограниченное количество инстансов. Высокий спрос. Разверните свой H200 прямо сейчас.