NVIDIA B200 Blackwell
Два кристалла на 208 миллиардов транзисторов работают как один GPU. 180 ГБ HBM3e при 8 ТБ/с и Tensor Core пятого поколения с поддержкой FP4.
Характеристики на один GPU
B200 против H100
Blackwell добавляет в Tensor Core формат FP4: 9 PFLOPS dense против 4.5 PFLOPS в FP8, а веса занимают вдвое меньше памяти. Как квантизация в FP4 сказывается на качестве, нужно проверять на конкретной модели.
Blackwell B200
Два кристалла, один GPUПримечание: значения на один GPU пересчитаны из спецификаций NVIDIA для HGX B200 на 8 GPU. Два кристалла B200 соединены интерфейсом на 10 ТБ/с и работают как единый GPU.
Для каких задач
Инференс больших LLM
Модель на 405B параметров в FP4 занимает около 230 ГБ и помещается на две B200 с запасом под KV-кэш.
Обучение и дообучение
FP8 и BF16 на Tensor Core пятого поколения. В многокарточном сервере GPU обмениваются данными по NVLink на 1.8 ТБ/с.
Генерация видео
Видеодиффузионные модели в BF16 с запасом памяти под длинные ролики и высокое разрешение.
Готовы запустить B200?
Разверните свой инстанс B200 за несколько минут. Без долгосрочных контрактов.