NVIDIA RTX A6000
Профессиональная карта на архитектуре Ampere с 48 ГБ памяти GDDR6 и ECC — столько же, сколько у RTX 6000 Ada и L40S. Две карты можно соединить мостом NVLink.
Профессиональные характеристики
48 GB против 24 GB
У игровых RTX 3090 и 4090 по 24 ГБ памяти. RTX A6000 вдвое больше: сцены и модели, которые на 24 ГБ завершаются ошибкой «Out of Memory», помещаются в одну карту.
- Llama 3 70B в 4-битной квантизации (около 35–40 ГБ весов) помещается в одну карту
- SDXL и FLUX.1 в BF16 работают без выгрузки моделей из памяти
- ECC на всех 48 ГБ — для многочасовых рендеров и обучения
Карты на 24–48 ГБ
| Модель | VRAM | Память | NVLink |
|---|---|---|---|
| RTX 4090 | 24 GB | 1008 GB/s | Нет |
| RTX A6000 | 48 GB | 768 GB/s | Мост на 2 карты |
| RTX 6000 Ada | 48 GB | 960 GB/s | Нет |
NVLink-мост соединяет две RTX A6000 каналом на 112.5 ГБ/с, но единым пулом на 96 ГБ память не становится: модель распределяется по двум картам средствами фреймворка.
Для каких задач
Рендер больших сцен
Сцены в Octane и Redshift, которым нужно больше 24 ГБ памяти; 84 RT-ядра второго поколения.
LLM Fine-tuning (QLoRA)
Дообучение моделей на 7–30B параметров: в 4 битах веса 30B занимают около 15–17 ГБ, остальная память уходит под батч и активации.
Две карты с NVLink
Мост даёт 112.5 ГБ/с между картами, а модель делится между ними средствами фреймворка — тензорным или конвейерным параллелизмом. Наличие моста зависит от конфигурации сервера.
Нужно 48 ГБ памяти?
Арендуйте RTX A6000 поминутно: драйверы и CUDA уже установлены, сервер поднимается за несколько минут.