NVIDIA B300 Blackwell Ultra
Blackwell Ultra: стеки HBM3e высотой 12 кристаллов дают 288 ГБ на GPU при той же пропускной способности 8 ТБ/с, что у Blackwell.
Характеристики на один GPU
288 ГБ памяти: зачем столько?
B300 использует стеки HBM3e по 12 кристаллов (12-Hi): 288 ГБ на GPU. У Blackwell в максимальной конфигурации 192 ГБ, у B200 в серверах HGX — 180 ГБ. Объём важен для Mixture of Experts (MoE): в памяти лежат все эксперты, хотя на каждый токен работает только часть из них.
Чем больше памяти на GPU, тем на меньшее число карт делится модель и тем меньше данных идёт между картами по NVLink.
Сколько GPU нужно модели
| Модель в FP8 | B200 (180GB) | B300 (288GB) |
|---|---|---|
| Llama 3.1 405B (~405 ГБ) | Не помещается в 2 GPU | Помещается в 2 GPU |
| Grok-1 314B (~314 ГБ) | 2 GPU, запас ~45 ГБ | 2 GPU, запас ~260 ГБ |
| Память на GPU | 180 GB | 288 GB |
Для каких задач
Инференс MoE-моделей
Все эксперты должны находиться в памяти. 288 ГБ на GPU сокращают число карт, на которые приходится делить модель.
Длинный контекст
KV-кэш растёт вместе с длиной контекста и размером батча — память сверх весов модели уходит под него.
Обучение и дообучение
FP8 и NVFP4 на Tensor Core пятого поколения. В многокарточном сервере GPU связаны NVLink на 1.8 ТБ/с.
Этой карты сейчас нет в наличии
Наличие зависит от провайдеров. Карты, которые можно арендовать сейчас, — в каталоге.