Домашняя страница/Советы и лайфхаки по экономии денег/посоветуйте видеокарту с 24..32ГБ видеопамяти - для локального запуска LLM-мо...
Опубликовано больше 1 года назад

посоветуйте видеокарту с 24..32ГБ видеопамяти - для локального запуска LLM-моделей (DeepSeek, хотя бы квантованного)

Поделился(-ась)
Автор

Что думаете? Ваш голос помогает сообществу находить лучшее

Подробнее о скидке

я так понял, для AMD/Radeon нужна поддержка ROCm (готовая сборка или хотя бы инструкция по сборке), т.е. в первую очередь покупать карты nVidia (но они дороже и у них памяти мало), потом AMD, а для Intel есть что-нибудь?


штеуды эе грозились сделать дешевые карточки с много-много-ГБ памяти?

5 комментариев
отсортированы по
default-user
Написать комментарий..
Пижон
больше 1 года
Ученик
больше 1 года

Чисто для запуска? Можно попробовать собрать что-то типа фермы на дешевых бу 12гб картах, по типу 3060. 5-6 карточек где-то 100к выйдут думаю, памяти 60-72.

Если сразу не хочется так брать, или нужно и обычное использование компа - взять основную карту по потребностям (5060ti например), и ту же 3060 бу во второй слот воткнуть, потом обе будут использоваться. Потом можно снова ферму будет дособрать и все GPU дома в одну сеть объединить через exo: https://github.com/exo-explo...xo

Мастер
больше 1 года

Для локального запуска LLM-моделей (включая DeepSeek) с 24–32 ГБ видеопамяти выбор зависит от бюджета, поддержки фреймворков и доступности железа.

🔹 Лучшие варианты (NVIDIA, AMD, Intel)
1. NVIDIA (оптимальный баланс поддержки и памяти)
  • RTX 4090 (24GB, GDDR6X) – самая мощная карта для потребителей, поддерживает CUDA, Tensor Cores и все популярные LLM-инструменты (llama.cpp, vLLM, exllama2).
  • RTX 3090 / 3090 Ti (24GB, GDDR6X) – б/б у варианты дешевле, но хуже энергоэффективность.
  • RTX 6000 Ada / RTX A6000 (48GB, GDDR6) – профессиональные карты с ECC, но очень дорогие.

Проблема: Ограничение в 24 ГБ у топовых игровых карт (для 32+ ГБ нужны серверные решения).

2. AMD (дешевле, но сложнее с поддержкой LLM)
  • Radeon RX 7900 XTX (24GB, GDDR6) – самая мощная Radeon, но ROCm работает не на всех моделях.
    • Поддержка ограничена (официально только MI-серия и некоторые RX).
    • Для llama.cpp (через Vulkan или OpenCL) можно запускать квантованные модели.
  • Instinct MI210 / MI250 (64GB, HBM2e) – серверные карты с ROCm, но дорогие и сложные в настройке.

Проблема: Поддержка LLM-фреймворков хуже, чем у NVIDIA.

3. Intel (пока слабая поддержка, но потенциал)
  • Intel Arc A770 (16GB, GDDR6) – малó памяти, но OpenVINO может работать с квантованными моделями.
  • Intel Arc Pro A60 (24GB, GDDR6) – профессиональная карта, но драйверы и ПО для LLM сыроваи.
  • Intel “Battlemage” (потенциально 32GB+) – анонсированы, но неизвестно, когда выйдут и насколько будут хороши для LLM.

Проблема: Инструменты (llama.cpp, vLLM) хуже оптимизированы под Intel.

4. Альтернативы (если нужна много памяти)
  • 2x RTX 3090 (48GB в NVLink) – можно через llama.cpp с разделением слоёв, но сложно настраивать.
  • Tesla P40 (24GB, GDDR5, без FP16) – старые серверные карты, но медленные для современных LLM.
  • M2 Ultra (192GB unified RAM) – Mac Studio, но дорого и только через llama.cpp (без CUDA).
🔥 Вывод:
Карта Память Плюсы Минусы
RTX 4090 24GB Лучшая производительность, полная поддержка Дорого, только 24GB
RX 7900 XTX 24GB Дешевле, OpenCL/Vulkan Плохая поддержка ROCm
RTX 3090 (б/у) 24GB Недорого (от $600) Высокое энергопотребление
2x RTX 3090 48GB Много памяти Надо возиться с NVLink
Intel Battlemage? (32GB?) Возможный будущий вариант Пока нет на рынке

Лучший выбор:
✅ RTX 4090 – если хватает 24GB.
✅ 2x RTX 3090 – если нужны 48GB и есть время на настройку.
⚠️ RX 7900 XTX – если готовы копаться с OpenCL (ROCm нестабилен).
❌ Intel пока не советую – ждём Battlemage.

P.S. Квантованные модели (например, DeepSeek 67B в 4-bit) могут работать и на 24GB (но не факт для больших контекстов). Если нужно больше – смотрите в сторону серверных решений (A100 40/80GB).

Наблюдатель
Автор
больше 1 года

пипец, ну и цены

👋 Добро пожаловать в крупнейшее шопинг-сообщество в России!
Более 754 тысячи людей вроде вас присоединились к нашему сообществу и поделились более чем 387 тысяч скидок, набравшими более 15,86 миллионов комментариев, в которых люди обмениваются своими советами, лайфхаками и экспертным мнением.
Мы можем получать комиссию, когда вы переходите по ссылкам или совершаете покупки. Благодаря этому наша платформа остается бесплатной и нейтральной. Независимо от того, получаем ли мы комиссию, это никак не влияет на температуру скидок. Мы считаем, что только наше сообщество должно решать, какие скидки горячие, а какие — холодные.
© 2017-2026 Pepper.ru. Все права защищены.