Требования к железу для локальной LLM: гайд по CPU, RAM и GPU
Что на самом деле нужно, чтобы запустить LLM на собственном железе, от модели 3B на процессоре ноутбука до модели 70B на рабочей станции. Цифры ниже это те, что решают, будет ли ваша сборка быстрой, медленной или упрётся в нехватку памяти.
На этой странице8
- Единственное число, которое решает всё: память
- Квантизация: как уменьшить модель, не сломав её
- VRAM и RAM по размеру модели: рабочая таблица
- Варианты GPU и сколько они реально стоят в 2026 году
- Apple Silicon: тихая рабочая лошадка для 70B
- Только CPU и гибридная разгрузка: бюджетный путь
- Что мы измерили: модель 4B на карте с 8 ГБ
- Ценовые уровни: выбирайте самую маленькую сборку под вашу задачу
Единственное число, которое решает всё: память
Прежде чем сравнивать GPU, разберитесь с узким местом. Генерация каждого токена означает прогон всего активного набора весов модели через процессор, поэтому скорость локальной LLM определяется пропускной способностью и объёмом памяти, а не сырой вычислительной мощностью. Объём решает, загрузится ли модель вообще; пропускная способность решает, как быстро она работает после загрузки. Если модель не помещается в память, никакая мощь GPU не поможет.
Именно поэтому практическое правило подбора строится вокруг памяти. При полной точности FP16 модель требует около 2 ГБ на миллиард параметров, так что модель 7B это примерно 14 ГБ, а модель 70B примерно 140 ГБ. Почти никто не запускает локальные модели в FP16. Квантизация сжимает веса, и на популярном уровне Q4_K_M объём падает примерно до 0,5 до 0,7 ГБ на миллиард параметров: около 4 до 5 ГБ для модели 7B и около 40 ГБ для модели 70B. Добавьте KV-кэш (рабочую память вашего диалога), который растёт с длиной контекста, плюс немного накладных расходов рантайма, и вы получите своё реальное требование.
Второй фактор, пропускная способность, объясняет, почему GPU за 300 долларов может быть быстрее CPU за 2000 долларов на одной и той же модели. RTX 4090 даёт около 1000 ГБ/с, Apple M4 Max около 546 ГБ/с, а типичная двухканальная системная RAM DDR5 где-то около 70 до 90 ГБ/с. Этот разрыв и есть большая часть причины, по которой инференс на GPU ощущается мгновенным, а инференс на CPU ощущается как модемное соединение.
Квантизация: как уменьшить модель, не сломав её
Квантизация хранит каждый вес меньшим числом бит. FP16 использует 16 бит на вес, Q8 около 8, а Q4 около 4. Самая рекомендуемая настройка во всём сообществе локальных LLM это Q4_K_M, 4-битный вариант, который с учётом блочных метаданных оказывается ближе к 4,8 эффективных бит на вес. Он сохраняет примерно 95 процентов качества полной точности, сокращая память почти в 4 раза, поэтому это значение по умолчанию, с которого почти все начинают.
Практический совет прост. Для повседневного чата, черновиков и суммаризации Q4_K_M это правильный выбор. Для генерации кода и более сложных рассуждений поднимайтесь до Q5_K_M, Q6_K или Q8_0, если у вас есть VRAM, потому что потери качества раньше всего проявляются на логике и коде. Ниже Q4 деградация становится заметной, поэтому Q3 и Q2 это крайние меры, чтобы впихнуть слишком большую модель в недостаточное железо. Полезное следствие: более крупная модель при более сильной квантизации часто превосходит более мелкую при лёгкой квантизации. Модель 14B при Q4 обычно обходит модель 7B при Q8, если обе помещаются в ваш бюджет памяти.
Стандартный формат файла для этих квантизованных весов это GGUF, однофайловый формат, используемый llama.cpp и Ollama. Один и тот же файл .gguf работает в Windows, Linux и macOS, а также на бэкендах CUDA, Metal и CPU, так что можно скачать один файл и переносить его между машинами без конвертации.
VRAM и RAM по размеру модели: рабочая таблица
Вот что нужно каждому уровню моделей при Q4_K_M, включая скромный запас под контекст. Модель 3B до 4B (Phi-4 Mini, Llama 3.2 3B, Gemma 3 4B, Qwen 3 4B) требует около 2 до 4 ГБ и работает почти на чём угодно, включая ноутбуки только на CPU с 8 до 16 ГБ RAM. Модель 7B до 8B (Mistral 7B, Llama 3.1 8B, Qwen 3 8B) требует около 6 до 8 ГБ и комфортна на любой GPU с 8 ГБ или больше. Модель 13B до 14B требует около 9 до 12 ГБ и помещается на карту с 12 ГБ. Модель 30B до 34B требует примерно 18 до 24 ГБ и естественно подходит для одной карты с 24 ГБ.
Скачок, который все недооценивают, это 70B. При Q4_K_M модель 70B хочет примерно 40 до 48 ГБ, как только вы учтёте пригодное окно контекста, а это значит, что она не помещается на одну карту с 24 ГБ. Нужны две объединённые GPU по 24 ГБ (48 ГБ суммарно), одна карта рабочей станции на 48 ГБ или большой Mac с единой памятью. Модель 405B это другая вселенная: примерно 240 ГБ даже при 4 битах, около 486 ГБ при FP8, это территория дата-центра (представьте 8x A100 80 ГБ или 8x H100), плюс терабайт с лишним системной RAM и быстрый NVMe под веса.
Не забывайте про KV-кэш, статью, которая тихо взрывает бюджеты. Для модели 8B кэш растёт от доли ГБ при контексте 2K до примерно 5 ГБ при 32K и около 20 ГБ при 128K. На модели 70B контекст 128K может потребовать более 40 ГБ кэша поверх весов. Если планируете использовать длинные контексты, рассчитывайте на кэш, а не только на модель. Квантизация KV-кэша до 8 бит примерно вдвое сокращает его при небольшой потере качества.
Варианты GPU и сколько они реально стоят в 2026 году
Для чистого инференса VRAM за доллар это метрика, которая важна, и бывшая в употреблении NVIDIA RTX 3090 остаётся королём соотношения цена-объём. С 24 ГБ VRAM примерно за 600 до 850 долларов на вторичном рынке она тянет модели 13B при высокой квантизации, модели класса 30B при Q4 и аккуратно объединяется в двухкарточную сборку на 48 ГБ под 70B. Это также последняя потребительская карта с NVLink, что даёт двухкарточным конфигурациям более быструю связь GPU с GPU. Подвох: нет гарантии, возможная история майнинга, и вам может понадобиться следить за температурами VRAM.
RTX 4090, около 1600 до 2200 долларов, лучший универсал. Те же 24 ГБ, но ощутимо быстрее, с сильной производительностью для генерации изображений и лёгкого дообучения вдобавок к инференсу, и она с гарантией. RTX 5090, примерно 3000 до 4000 долларов на фоне продолжающегося дефицита чипов памяти, единственная потребительская карта с 32 ГБ и самой высокой пропускной способностью из трёх, что делает её одиночным выбором для моделей 32B при Q4 с длинным контекстом и для моделей со смесью экспертов. Учтите, что даже 32 ГБ не вмещают аккуратно 70B при Q4.
Реальные скорости генерации ставят компромиссы в перспективу. Модель 8B на одной 4090 выдаёт за 100 токенов в секунду. Модель 70B при Q4_K_M не загрузится на одну карту с 24 ГБ; на двух 3090 она идёт около 16 токенов в секунду, а на двух 4090 около 19. Это пригодные, разговорные скорости, при этом двухкарточная сборка потребляет под нагрузкой почти 900 ватт.
Apple Silicon: тихая рабочая лошадка для 70B
Архитектура единой памяти Apple это самый простой путь к модели 70B в одной коробке. Поскольку CPU и GPU делят один пул памяти, Mac со 128 ГБ единой памяти может загружать модели, которые иначе потребовали бы двух GPU в NVLink или карты дата-центра. M4 Max даёт примерно 546 ГБ/с пропускной способности и поддерживает до 128 ГБ, тогда как M3 Ultra доходит до 192 ГБ при примерно 800 ГБ/с, и это настоящий топовый компонент Apple для ИИ-задач, поскольку M4 Ultra не существует.
На практике M4 Max запускает Llama 3.3 70B при Q4_K_M где-то в диапазоне 15 до 28 токенов в секунду в зависимости от бэкенда и контекста. Используйте фреймворк MLX от Apple вместо стандартного бэкенда llama.cpp; MLX стабильно на 30 до 50 процентов быстрее на Apple Silicon. Одна твёрдая рекомендация: для серьёзной работы с 70B выбирайте 128 ГБ, а не 64 ГБ. Модель 70B Q4 технически помещается в 64 ГБ, но давление памяти macOS подскакивает, и система уходит в свопинг на SSD, что обрушивает скорость и нагружает накопитель. Конфигурация на 128 ГБ оставляет запас для браузера, редактора и модели одновременно.
Компромисс по сравнению с NVIDIA это скорость для моделей, помещающихся в VRAM GPU, где у 4090 примерно вдвое большая пропускная способность, чем у M4 Max. Apple выигрывает по тому, что помещается в одну тихую машину с малым потреблением; NVIDIA выигрывает по сырой пропускной способности для моделей, которые помещаются на карту.
Только CPU и гибридная разгрузка: бюджетный путь
Локальную LLM можно запустить вообще без GPU. На современном CPU с двухканальной DDR5 модель 3B до 4B при Q4 идёт около 8 до 25 токенов в секунду, достаточно быстро для реального интерактивного использования. Phi-4 Mini (3,8B) здесь звезда: объём около 2,3 ГБ, примерно 12 токенов в секунду на современном CPU и баллы в бенчмарках, сравнимые с Llama 3.1 8B по общим знаниям. Модель 7B до 8B на CPU падает примерно до 3 до 8 токенов в секунду, что нормально для пакетных задач, но вяло для чата. Выше 8B только CPU перестаёт быть практичным.
Две детали CPU сдвигают стрелку. Скорость памяти важна: переход с DDR5-4800 на DDR5-6000, как показано, поднимает скорость генерации 7B до 8B на 20 процентов или больше, чисто за счёт пропускной способности. И двухканальность важна: две планки RAM фактически удваивают пропускную способность по сравнению с одной, так что заполняйте оба канала. Простое правило RAM для инференса на CPU: размер файла GGUF плюс около 500 МБ накладных расходов равно вашему минимуму.
Когда модель чуть великовата для вашей VRAM, гибридная разгрузка держит часть слоёв на GPU и сбрасывает остальное в системную RAM. Это медленнее, чем полностью на GPU, но быстрее, чем только на CPU, и, что критично, это вообще не меняет качество вывода; те же веса делают ту же математику, просто хранятся в разных местах. Цена по скорости зависит от вашей пропускной способности PCIe, так что на дискретной GPU ждите реального штрафа за каждый выгруженный слой. Это прагматичный временный обходной путь, а не замена тому, чтобы поместить модель в VRAM.
Что мы измерили: модель 4B на карте с 8 ГБ
Эмпирические правила перестают работать на границе, поэтому вот одна модель, измеренная от начала до конца на нашей собственной тестовой машине: Intel Core i7-7700, 32 ГБ ОЗУ, NVIDIA GeForce GTX 1080 с 8 ГБ, llama.cpp llama-server (сборка CUDA 12, flash attention включён), 9 ноября 2026 года. Модель гибридная, 4 миллиарда параметров в Q4_K_M, файл 3,3 ГБ. Её языковые веса заняли на карте 2514 МиБ, а таблица эмбеддингов токенов размером 497 МиБ осталась в системной памяти, как llama.cpp делает по умолчанию.
Когда все слои были на карте, а кэш на 16 384 токена делили два диалога, карта дополнительно держала 512 МиБ KV-кэша, 100,5 МиБ рекуррентного состояния и 72 МиБ вычислительных буферов, а также 223 МиБ рабочей памяти для визуального энкодера. Модель читала промпты со скоростью 750–892 токена в секунду и писала со скоростью 24,9–37,4 токена в секунду.
Через несколько минут ту же модель перезапустили с окном 12 288 токенов на диалог, пока карту делили другие модели. KV-кэш вырос до 768 МиБ, и 3 из 33 слоёв больше не поместились: они работали на процессоре. Тогда модель читала промпты со скоростью 110 токенов в секунду и писала со скоростью 5,47. Перенос 9 % слоёв стоил 78–85 % скорости генерации: частичная выгрузка — это конвейер, и его самая медленная ступень, веса, которые четыре потока CPU читают из системной памяти, задаёт темп каждого токена. Практическое правило: если модель помещается впритык, уменьшите окно контекста или возьмите следующую, меньшую квантизацию, прежде чем позволить слоям уйти на процессор.
Ценовые уровни: выбирайте самую маленькую сборку под вашу задачу
Подбирайте железо под модель, которая вам реально нужна, а не под самую большую, какую можете вообразить. Начальный уровень, примерно 0 до 400 долларов: ноутбук или десктоп, который у вас уже есть, запускающий модели 3B до 8B на CPU или GPU с 8 ГБ. Это покрывает приватные черновики, суммаризацию, классификацию и простую помощь с кодом, и этого достаточно, чтобы убедиться, подходит ли локальный ИИ вашему рабочему процессу вообще. Уровень энтузиаста, примерно 700 до 2200 долларов: одна бывшая в употреблении RTX 3090 или новая RTX 4090 с 24 ГБ, комфортно запускающая модели 13B до 34B для ежедневного кодинга, RAG по вашим собственным документам и агентных скриптов.
Уровень просьюмера, примерно 2000 до 5000 долларов: две GPU по 24 ГБ (48 ГБ объединённых) или Mac M4 Max со 128 ГБ, точка входа для моделей класса 70B на разговорной скорости. Это уровень, где локальная модель по-настоящему конкурирует с хостируемым API во многих задачах. Всё, что выше, рубеж класса 405B, фактически только для облака почти для всех, и почти для всех реальных сценариев удачно выбранная модель 70B сравнивается с моделью 405B или превосходит её, стоя при этом долю в эксплуатации.
Именно с этого расчёта подбора начинается работа Pineido по настройке локального ИИ. Мы определяем самую маленькую сборку, отвечающую вашим требованиям по приватности и производительности, подбираем модель и квантизацию под неё и поднимаем стек так, чтобы он выдержал столкновение с реальным использованием. Если вы взвешиваете локальный ИИ против хостируемого для чувствительных данных, наши спринты по настройке локального ИИ и pocket AI превращают эту математику в работающую систему за 30 дней, а формат частичного CTO доступен, когда решение затрагивает вашу более широкую дорожную карту инфраструктуры.
Идеи для операционной работы каждую неделю
Присоединяйтесь к руководителям сервисных компаний, которые каждую неделю получают одну практическую идею об операциях, автоматизации и росте.
Без спама. Отписаться можно в любой момент.
Вы подписаны! Следующий выпуск придёт на вашу почту.
Не удалось отправить. Попробуйте ещё раз или напишите на [email protected].
Готовы к запуску?
Расскажите, где вы застряли. Мы разберёмся и пришлём конкретную рекомендацию в течение одного рабочего дня.
Часто задаваемые вопросы
Сколько VRAM мне нужно, чтобы запустить локальную LLM?
При распространённой квантизации Q4_K_M закладывайте примерно 0,5 до 0,7 ГБ на миллиард параметров плюс запас под контекст. Это значит около 6 до 8 ГБ для модели 7B до 8B, 9 до 12 ГБ для 13B, 18 до 24 ГБ для 30B и примерно 40 до 48 ГБ для 70B. Длинные контексты добавляют KV-кэш сверху, так что закладывайте больше, если планируете использовать 32K токенов или больше.
Можно ли запустить локальную LLM без GPU?
Да, для моделей поменьше. Современный CPU с двухканальной DDR5 запускает модели 3B до 4B со скоростью примерно 8 до 25 токенов в секунду, что пригодно для чата. Модель 7B до 8B падает примерно до 3 до 8 токенов в секунду, нормально для пакетной работы, но медленно для интерактивного использования. Выше 8B инференс только на CPU становится непрактичным, и вам понадобится GPU или Mac на Apple Silicon.
Какое железо запускает модель 70B локально?
Модель 70B при Q4_K_M требует примерно 40 до 48 ГБ памяти, так что она не поместится на одну GPU с 24 ГБ. Три практических пути: две объединённые GPU по 24 ГБ (две RTX 3090 или 4090 на 48 ГБ), одна карта рабочей станции на 48 ГБ или Mac на Apple Silicon со 128 ГБ единой памяти. Ожидайте примерно 15 до 28 токенов в секунду в зависимости от сборки.
Стоит ли всё ещё покупать RTX 3090 для локального ИИ в 2026 году?
Для инференса да. Примерно за 600 до 850 долларов на вторичном рынке она предлагает лучшее соотношение VRAM за доллар среди потребительских карт, с 24 ГБ и единственной потребительской поддержкой NVLink, что делает двухкарточные сборки на 48 ГБ для моделей 70B дешевле любой альтернативы. Компромиссы: нет гарантии, возможная история майнинга и чуть меньшая скорость, чем у 4090. Берите 4090, если вам также нужны гарантия, генерация изображений или лёгкое дообучение.
Почему пропускная способность памяти важнее тактовой частоты CPU или GPU?
Генерация каждого токена требует прогона активных весов модели через процессор, так что скорость в токенах ограничена тем, насколько быстро можно читать память, а не сырой вычислительной мощностью. Поэтому RTX 4090 на примерно 1000 ГБ/с ощущается мгновенной, тогда как системная RAM на 70 до 90 ГБ/с ощущается медленной на той же модели, и поэтому одна лишь более быстрая DDR5 может поднять скорость инференса на CPU на 20 процентов или больше.
Действительно ли мне нужна модель 405B, или достаточно 70B?
Почти для всех практических сценариев удачно выбранной модели 70B достаточно, и она часто сравнивается с моделью 405B в бенчмарках или превосходит её, стоя при этом долю в эксплуатации. Модель 405B требует примерно 240 ГБ даже при 4 битах, а это железо дата-центра, так что она фактически только для облака. Приберегите её для конкретных исследований, которым действительно нужен максимальный размер модели.