Графика и вычисления в одной карте

NVIDIA L40 48GB

Датацентровая Ada Lovelace с 48 ГБ GDDR6 и RT-ядрами третьего поколения. Подходит для пайплайнов, где рендер, видео и нейросети работают на одной карте.

Спецификации

Характеристики Ada Lovelace

Архитектура
NVIDIA Ada Lovelace
Видеопамять
48 GB GDDR6 (ECC)
Пропускная способность
864 GB/s
CUDA Cores
18,176
FP8 Tensor Core (dense)
362 TFLOPS
Потребление (TDP)
300W
Сравнение

L40 или L40S

Кристалл, объём и скорость памяти у карт одинаковые, и в графике они идут вровень. Разница в Tensor Core: у L40S вдвое выше пиковая производительность в FP8 и BF16, зато и энергопакет на 50 Вт больше. Поэтому под рендер и видео подходит L40, а под обучение и инференс с упором на Tensor Core — L40S.

  • В графике разницы почти нет 209 против 212 TFLOPS на RT-ядрах — в рендере карты различаются на проценты.
  • Кодировщики идентичны По три NVENC и NVDEC с AV1 у обеих карт — для транскода разницы между ними нет.

L40 vs L40S

ПараметрL40L40S
Видеопамять48 GB GDDR648 GB GDDR6
FP3290.5 TFLOPS91.6 TFLOPS
RT Core209 TFLOPS212 TFLOPS
FP8 Tensor Core (dense)362 TFLOPS733 TFLOPS
Потребление (TDP)300 W350 W
Возможности

Ключевые особенности

RT-ядра третьего поколения

142 блока трассировки лучей и 209 TFLOPS в RT-нагрузках: Blender Cycles, Octane, Redshift и Omniverse считают сцены на аппаратном уровне.

Кодировщики с AV1

Три NVENC и три NVDEC с поддержкой AV1 на кодирование и декодирование — транскод и стриминг идут мимо процессора.

48 ГБ с коррекцией ошибок

ECC-память для рендеров и расчётов, которые идут часами. MIG и NVLink карта не поддерживает.

Решения

Для каких задач

Рендер и 3D

48 ГБ вмещают сцену с текстурами 4K целиком, а RT-ядра снимают с CPU трассировку лучей.

Генерация изображений

SDXL и FLUX.1 в BF16 помещаются целиком, с запасом под батч и апскейл.

Инференс LLM

Модель до ~20B параметров в FP16 или до 70B в 4-битной квантизации работает на одной карте.

Нужны 48 ГБ под рендер?

Арендуйте L40 поминутно: драйверы и CUDA уже стоят, сервер поднимается за несколько минут.