NVIDIA A100 80GB
Архитектура Ampere и 80 ГБ HBM2e — вдвое больше памяти, чем у A100 40GB, и пропускная способность до 2 ТБ/с. Для моделей, которые не помещаются в 40 ГБ.
Спецификации
Почему именно 80GB?
A100 40GB и 80GB различаются не только объёмом, но и типом памяти: у 80-гигабайтной версии HBM2e и 1.9–2.0 ТБ/с против HBM2 и 1.55 ТБ/с. Вычислительная часть одинаковая. Диапазоны в характеристиках — от PCIe- до SXM-версии.
- Llama 3 70B в 8-битной квантизации: веса занимают около 70 ГБ, на KV-кэш остаётся порядка 10 ГБ
- Вдвое больше памяти под батч и активации при обучении
- NVLink 600 ГБ/с между картами: в SXM-серверах и через мост на две PCIe-карты
Сравнение версий
| Характеристика | A100 40GB | A100 80GB |
|---|---|---|
| Тип памяти | HBM2 | HBM2e |
| Пропускная способность | 1.55 TB/s | 1.9–2.0 TB/s |
| Предел по весам в FP16 | ~20B params | ~40B params |
Для каких задач
Дообучение LLM
LoRA для моделей на 7–13B параметров в BF16 с запасом под батч. QLoRA — вплоть до 70B: в 4 битах её веса занимают около 35 ГБ.
Батч-инференс
80 ГБ оставляют место под большой батч и KV-кэш, а до 2 ТБ/с памяти ускоряют генерацию токенов, которая упирается в чтение весов.
Data Science
Обработка табличных данных на GPU (RAPIDS) и графовые нейросети, которым нужен большой объём памяти.
Нужны 80 ГБ HBM2e?
Арендуйте A100 80GB поминутно: драйверы и CUDA уже установлены, сервер поднимается за несколько минут.