КОНТУР GPU / 24 ОКТЯБРЯ 2026
Сколько памяти GPU нужно для LLM
Как оценить память для весов, KV-кэша и обучения, прежде чем выбирать GPU-сервер.
Начните с режима работы
Одна и та же языковая модель требует разный объём памяти для инференса, обучения и настройки адаптеров. Поэтому вопрос «поместится ли модель» нужно задавать вместе с режимом запуска, длиной контекста, форматом весов и числом одновременных запросов. Для заявки полезнее эти четыре параметра, чем одно название модели.
Весам нужна лишь часть памяти
Грубая оценка объёма весов — число параметров, умноженное на количество байт на параметр. Например, 70 миллиардов параметров при двух байтах на параметр — около 140 миллиардов байт, или 140 ГБ в десятичном счёте. Это не оценка полной памяти сервера: дополнительно нужны буферы, служебные структуры и кэш. Такой расчёт не означает, что вся модель гарантированно запустится на GPU со 141 ГБ.
Контекст и параллельные запросы
Во время генерации хранится KV-кэш. Его размер зависит от архитектуры модели, длины контекста, числа одновременно обрабатываемых последовательностей и формата хранения. Две нагрузки с одинаковыми весами могут существенно отличаться по потреблению памяти. Проверяйте максимальный рабочий сценарий, а не только запуск одного короткого запроса.
Квантизация и несколько GPU
Квантизация может уменьшить размер весов, но потребует проверки качества и поддержки выбранным движком. Часть операций и буферов остаётся в других форматах. Несколько GPU помогают распределять модель, однако сумма памяти карт не становится автоматически единым доступным объёмом. Нужна поддержка разделения модели, а обмен между устройствами влияет на задержки.
Что передать для подбора
Укажите ссылку или точное название модели, формат весов, контекст, ожидаемую параллельность и движок инференса. Для обучения добавьте метод настройки, batch size и оптимизатор. Если есть рабочий запуск — приложите пиковое потребление памяти и целевую скорость. По этим данным можно сравнить H100, H200, B200 и B300 и согласовать тест.
Характеристики и источники
Технические характеристики: NVIDIA H100 и NVIDIA HGX. Расчёты бюджета — иллюстративные примеры. Результаты конкретной нагрузки подтверждаются тестом.