NVIDIA L40S
Tensor Core четвёртого поколения с FP8, 142 RT-ядра и три кодировщика NVENC с AV1 на одной карте. В FP32 — 91.6 TFLOPS против 19.5 у A100.
Спецификации Ada Lovelace
L40S или A100
У карт разные сильные стороны. L40S быстрее в вычислениях: в FP32, в FP16 на Tensor Core и в FP8, которого у A100 нет. A100 быстрее в памяти — до 2 ТБ/с против 864 ГБ/с, а генерация токенов в LLM упирается именно в пропускную способность памяти.
- FP8 на Tensor Core 733 TFLOPS dense. В A100 на архитектуре Ampere формата FP8 нет.
- RT-ядра и NVENC 142 RT-ядра и три кодировщика NVENC. У A100 нет ни RT-ядер, ни NVENC.
L40S vs A100
| Параметр | L40S (Ada) | A100 80GB (Ampere) |
|---|---|---|
| FP32 | 91.6 TFLOPS | 19.5 TFLOPS |
| FP16 Tensor Core (dense) | 362 TFLOPS | 312 TFLOPS |
| FP8 Tensor Core (dense) | 733 TFLOPS | Нет |
| Ray Tracing | 142 RT-ядра | Нет |
| Пропускная способность | 864 GB/s | 1935–2039 GB/s |
Для каких задач
Генерация и инференс
FP8 на Tensor Core четвёртого поколения. 48 ГБ вмещают SDXL и FLUX.1 в BF16 или модель на 13B параметров в FP16 с запасом под KV-кэш.
Рендер и графика
142 RT-ядра третьего поколения и 212 TFLOPS на трассировке лучей: Blender Cycles, Omniverse, Unreal Engine.
Обработка видео
Три движка кодирования с поддержкой AV1. Стриминг, транскодинг и обработка видеопотоков.
Нужна карта для FP8 и графики?
Арендуйте L40S поминутно: драйверы и CUDA уже установлены, сервер поднимается за несколько минут.