Хардверски барања за локален LLM: водич за CPU, RAM и GPU
Што навистина е потребно за да работи LLM на ваш хардвер, од модел од 3B на процесор во лаптоп до модел од 70B на работна станица. Бројките подолу одлучуваат дали вашиот систем ќе биде брз, бавен или без доволно меморија.
На оваа страница8
- Бројката што одлучува сè: меморијата
- Квантизација: како да го намалите моделот без да го расипете
- VRAM и RAM според големината на моделот: работна табела
- Графички картички и колку чинат во 2026
- Apple Silicon: тивкиот работен коњ за 70B
- Само процесор и делумно префрлање: евтиниот пат
- Што измеривме: еден модел од 4B на картичка од 8 GB
- Ценовни нивоа: изберете ја најмалата машина што ја покрива работата
Бројката што одлучува сè: меморијата
Пред да споредувате графички картички, разберете го тесното грло. За секој нов токен, целиот активен сет тежини на моделот поминува низ процесорот. Затоа брзината на локален LLM ја одредуваат пропусноста и капацитетот на меморијата, а не сировата моќ. Капацитетот одлучува дали моделот воопшто ќе се вчита. Пропусноста одлучува колку брзо ќе работи откако ќе се вчита. Ако моделот не собира во меморијата, ниту најсилната картичка нема да помогне.
Затоа практичното правило за големина е изградено околу меморијата. Со полна прецизност FP16, моделот бара околу 2 GB на милијарда параметри. Модел од 7B е околу 14 GB, а модел од 70B околу 140 GB. Речиси никој не користи локални модели на FP16. Квантизацијата ги компресира тежините, а на популарното ниво Q4_K_M големината паѓа на околу 0,5 до 0,7 GB на милијарда параметри: околу 4 до 5 GB за модел од 7B и околу 40 GB за модел од 70B. Додадете го KV кешот (тековната меморија на разговорот), кој расте со должината на контекстот, и малку трошок за самата програма. Тоа е вашата вистинска потреба.
Вториот фактор, пропусноста, објаснува зошто картичка од 300 долари може да биде побрза од процесор од 2.000 долари за ист модел. RTX 4090 пренесува околу 1.000 GB/s, Apple M4 Max околу 546 GB/s, а вообичаената двоканална DDR5 системска меморија околу 70 до 90 GB/s. Таа разлика е главната причина работата на GPU да изгледа моментална, а на процесор бавна како стар модем.
Квантизација: како да го намалите моделот без да го расипете
Квантизацијата ја чува секоја тежина со помалку битови. FP16 користи 16 бита по тежина, Q8 околу 8, а Q4 околу 4. Најпрепорачуваната поставка во заедницата за локални LLM е Q4_K_M, варијанта од 4 бита која, заедно со метаподатоците по блокови, излегува на околу 4,8 ефективни бита по тежина. Задржува околу 95 проценти од квалитетот на полна прецизност, а меморијата ја намалува речиси четирипати. Затоа речиси сите почнуваат со неа.
Советот е едноставен. За секојдневен разговор, пишување нацрти и резимирање, Q4_K_M е вистинскиот избор. За пишување код и потешко расудување, одете на Q5_K_M, Q6_K или Q8_0 ако имате VRAM, бидејќи загубата на квалитет прво се гледа кај логиката и кодот. Под Q4 падот станува забележлив, па Q3 и Q2 се последно решение кога преголем модел мора да собере на слаб хардвер. Корисно правило: поголем модел со посилна квантизација често е подобар од помал модел со блага квантизација. Модел од 14B на Q4 обично е подобар од модел од 7B на Q8, ако двата собираат во вашата меморија.
Стандардниот формат за вакви квантизирани тежини е GGUF, формат во една датотека што го користат llama.cpp и Ollama. Истата .gguf датотека работи на Windows, Linux и macOS, и на CUDA, Metal и процесор. Преземате една датотека и ја префрлате меѓу машини без конверзија.
VRAM и RAM според големината на моделот: работна табела
Еве што бара секое ниво на модел на Q4_K_M, со умерена резерва за контекст. Модел од 3B до 4B (Phi-4 Mini, Llama 3.2 3B, Gemma 3 4B, Qwen 3 4B) бара околу 2 до 4 GB и работи речиси на сè, вклучително и лаптопи без графичка картичка со 8 до 16 GB RAM. Модел од 7B до 8B (Mistral 7B, Llama 3.1 8B, Qwen 3 8B) бара околу 6 до 8 GB и удобно работи на секоја картичка од 8 GB или повеќе. Модел од 13B до 14B бара околу 9 до 12 GB и собира на картичка од 12 GB. Модел од 30B до 34B бара околу 18 до 24 GB и природно оди на една картичка од 24 GB.
Скокот што сите го потценуваат е 70B. На Q4_K_M, модел од 70B бара околу 40 до 48 GB кога ќе вклучите употреблив контекст. Значи не собира на една картичка од 24 GB. Потребни ви се две картички од 24 GB споени (вкупно 48 GB), една работна картичка од 48 GB или Mac со многу обединета меморија. Модел од 405B е друг свет: околу 240 GB дури и на 4 бита, околу 486 GB на FP8. Тоа е хардвер за податочен центар (на пример 8 x A100 80 GB или 8 x H100), плус повеќе од терабајт системска меморија и брз NVMe диск за тежините.
Не заборавајте го KV кешот, ставката што тивко го руши буџетот. Кај модел од 8B кешот расте од дел од гигабајт при контекст од 2K до околу 5 GB при 32K и околу 20 GB при 128K. Кај модел од 70B, контекст од 128K може да бара над 40 GB кеш врз тежините. Ако планирате долги контексти, пресметајте го кешот, не само моделот. Квантизацијата на KV кешот на 8 бита го преполовува, со мала цена во квалитет.
Графички картички и колку чинат во 2026
За самото извршување, бројката што е важна е VRAM по долар, а користената NVIDIA RTX 3090 и понатаму е најисплатлива. Со 24 GB VRAM за околу 600 до 850 долари како користена, работи модели од 13B со висока квантизација, модели од класата 30B на Q4, и лесно се спарува во систем со две картички од 48 GB за 70B. Тоа е и последната потрошувачка картичка со NVLink, што дава побрза комуникација меѓу двете картички. Недостатоците: нема гаранција, можеби била користена за рударење, и можеби ќе треба да се грижите за температурата на меморијата.
RTX 4090, околу 1.600 до 2.200 долари, е најдобар сеопфатен избор. Исто 24 GB, но значително побрза, силна и за генерирање слики и лесно дообучување, и има гаранција. RTX 5090, околу 3.000 до 4.000 долари поради недостигот на мемориски чипови, е единствената потрошувачка картичка со 32 GB и најголема пропусност од трите. Тоа ја прави избор за една картичка за модели од 32B на Q4 со долг контекст и за модели со мешавина од експерти. Имајте предвид дека ни 32 GB не собираат чисто модел од 70B на Q4.
Реалните брзини ја покажуваат разликата. Модел од 8B на една 4090 дава над 100 токени во секунда. Модел од 70B на Q4_K_M нема да се вчита на една картичка од 24 GB. На две 3090 дава околу 16 токени во секунда, а на две 4090 околу 19. Тоа се употребливи брзини за разговор, а системот со две картички троши близу 900 вати под оптоварување.
Apple Silicon: тивкиот работен коњ за 70B
Обединетата меморија на Apple е најлесниот пат до модел од 70B во една кутија. Бидејќи процесорот и графичкиот дел делат една мемориска целина, Mac со 128 GB обединета меморија може да вчита модели за кои инаку би требале две картички со NVLink или картичка за податочен центар. M4 Max дава околу 546 GB/s пропусност и поддржува до 128 GB. M3 Ultra оди до 192 GB со околу 800 GB/s и е вистинскиот врвен Apple чип за AI, бидејќи M4 Ultra не постои.
Во пракса M4 Max работи Llama 3.3 70B на Q4_K_M со околу 15 до 28 токени во секунда, зависно од позадината и контекстот. Користете ја рамката MLX на Apple наместо стандардната позадина llama.cpp. MLX е постојано 30 до 50 проценти побрза на Apple Silicon. Една цврста препорака: за сериозна работа со 70B изберете 128 GB, не 64 GB. Модел од 70B на Q4 технички собира во 64 GB, но притисокот врз меморијата на macOS расте и системот почнува да користи SSD како меморија. Тоа ја руши брзината и го троши дискот. Со 128 GB има место истовремено за прелистувачот, уредувачот и моделот.
Наспроти NVIDIA, губите брзина кај модели што собираат во VRAM на картичката, каде 4090 има околу двојно поголема пропусност од M4 Max. Apple победува во тоа што собира во една тивка машина што троши малку струја. NVIDIA победува во сирова брзина кај модели што собираат на картичката.
Само процесор и делумно префрлање: евтиниот пат
Локален LLM може да работи и без графичка картичка. На современ процесор со двоканална DDR5, модел од 3B до 4B на Q4 дава околу 8 до 25 токени во секунда, доволно брзо за вистинска интерактивна работа. Phi-4 Mini (3,8B) се издвојува: околу 2,3 GB, околу 12 токени во секунда на современ процесор, и резултати на тестови што се изедначуваат со Llama 3.1 8B во општо знаење. Модел од 7B до 8B на процесор паѓа на околу 3 до 8 токени во секунда. Тоа е добро за пакетна обработка, но бавно за разговор. Над 8B, работата само со процесор престанува да биде практична.
Два детали за процесорот прават разлика. Брзината на меморијата е важна: преминот од DDR5-4800 на DDR5-6000 ја зголемува брзината кај модели од 7B до 8B за 20 или повеќе проценти, само поради пропусноста. И двоканалниот режим е важен: две мемориски плочки ја удвојуваат пропусноста во однос на една, па пополнете ги двата канали. Едноставното правило за RAM при работа со процесор: големината на GGUF датотеката плус околу 500 MB е вашиот минимум.
Кога моделот е малку преголем за вашата VRAM, делумното префрлање држи дел од слоевите на картичката, а остатокот го праќа во системската меморија. Ова е побавно од целосно на GPU, но побрзо од само процесор, и што е најважно, воопшто не го менува квалитетот на одговорите. Истите тежини ја прават истата пресметка, само се чуваат на различни места. Цената во брзина зависи од пропусноста на PCIe, па кај посебна картичка очекувајте вистинска загуба за секој префрлен слој. Тоа е практично привремено решение, не замена за модел што собира во VRAM.
Што измеривме: еден модел од 4B на картичка од 8 GB
Грубите правила попуштаат на работ, па еве еден модел измерен од почеток до крај на нашата тест машина: Intel Core i7-7700, 32 GB RAM, NVIDIA GeForce GTX 1080 со 8 GB, llama.cpp llama-server (CUDA 12, вклучено flash attention), 9 ноември 2026. Моделот е хибрид од 4 милијарди параметри на Q4_K_M, датотека од 3,3 GB. Неговите јазични тежини зафатија 2.514 MiB на картичката, а табелата за вградување токени од 497 MiB остана во системската меморија, како што llama.cpp прави стандардно.
Со сите слоеви на картичката и кеш од 16.384 токени поделен меѓу два разговори, картичката држеше и 512 MiB KV кеш, 100,5 MiB рекурентна состојба и 72 MiB пресметковни бафери, плус 223 MiB работен простор за делот за слики. Барањата ги читаше со 750 до 892 токени во секунда, а пишуваше со 24,9 до 37,4 токени во секунда.
Неколку минути подоцна истиот модел беше повторно пуштен со прозорец од 12.288 токени по разговор, додека други модели ја делеа картичката. KV кешот порасна на 768 MiB и 3 од неговите 33 слоја повеќе не собираа, па работеа на процесорот. Тогаш барањата ги читаше со 110 токени во секунда, а пишуваше со 5,47. Префрлањето на 9 проценти од слоевите чинеше 78 до 85 проценти од брзината на пишување. Делумното префрлање е низа чекори, и најбавниот чекор, тежини читани од системската меморија со четири нишки на процесорот, го одредува темпото на секој токен. Практичното правило: кога моделот едвај собира, намалете го прозорецот на контекст или изберете ја следната помала квантизација пред да дозволите слоевите да се прелеат.
Ценовни нивоа: изберете ја најмалата машина што ја покрива работата
Изберете хардвер според моделот што навистина ви треба, а не според најголемиот што можете да го замислите. Почетно ниво, околу 0 до 400 долари: лаптоп или компјутер што веќе го имате, со модели од 3B до 8B на процесор или картичка од 8 GB. Ова покрива приватно пишување нацрти, резимирање, класификација и едноставна помош со код, и е доволно да проверите дали локалниот AI воопшто одговара на вашата работа. Ентузијастичко ниво, околу 700 до 2.200 долари: една користена RTX 3090 или нова RTX 4090 со 24 GB, што удобно работи модели од 13B до 34B за секојдневно програмирање, пребарување низ ваши документи (RAG) и агентски скрипти.
Напредно ниво, околу 2.000 до 5.000 долари: две картички од 24 GB (48 GB заедно) или Mac M4 Max со 128 GB, влезот во моделите од класата 70B со брзина за разговор. На ова ниво локалниот модел навистина се натпреварува со хостирано API за многу задачи. Сè над тоа, моделите од класата 405B, практично е само во облак за речиси сите. За речиси сите вистински примени, добро избран модел од 70B е еднаков или подобар од модел од 405B, а чини дел од цената за работа.
Ова пресметување е токму местото каде што почнува работата на Pineido за поставување локален AI. Ја одредуваме најмалата машина што ги исполнува вашите барања за приватност и брзина, ги избираме моделот и квантизацијата, и го поставуваме системот така што ќе издржи вистинска употреба. Ако одлучувате меѓу локален и хостиран AI за чувствителни податоци, нашата услуга за поставување локален AI и Pineido Studio ја претвораат оваа пресметка во систем што работи за 30 дена, а ангажман на надворешен CTO е достапен кога одлуката ја допира вашата пошироката инфраструктура.
Идеи за операциите, секоја недела
Придружете им се на сопствениците на сервисни бизниси што секоја недела добиваат една практична идеја за операции, автоматизација и раст.
Без спам. Откажете кога сакате.
Претплатени сте! Следното издание ќе ви стигне на е-пошта.
Не успеа. Обидете се повторно или пишете на [email protected].
Подготвени да почнеме?
Кажете ни каде сте заглавени. Ќе го прегледаме и ќе ви испратиме конкретна препорака во рок од еден работен ден.
Често поставувани прашања
Колку VRAM ми треба за локален LLM?
При честата квантизација Q4_K_M, сметајте околу 0,5 до 0,7 GB на милијарда параметри плус резерва за контекст. Тоа значи околу 6 до 8 GB за модел од 7B до 8B, 9 до 12 GB за 13B, 18 до 24 GB за 30B и околу 40 до 48 GB за 70B. Долгите контексти додаваат KV кеш врз тоа, па земете повеќе ако планирате 32K токени или повеќе.
Може ли локален LLM да работи без графичка картичка?
Да, за помали модели. Современ процесор со двоканална DDR5 работи модели од 3B до 4B со околу 8 до 25 токени во секунда, што е употребливо за разговор. Модел од 7B до 8B паѓа на околу 3 до 8 токени во секунда, добро за пакетна работа, но бавно за интерактивна. Над 8B, работата само со процесор станува непрактична и ви треба графичка картичка или Apple Silicon Mac.
На каков хардвер работи модел од 70B локално?
Модел од 70B на Q4_K_M бара околу 40 до 48 GB меморија, па нема да собере на една картичка од 24 GB. Трите практични патишта се две споени картички од 24 GB (две RTX 3090 или 4090 за 48 GB), една работна картичка од 48 GB, или Apple Silicon Mac со 128 GB обединета меморија. Очекувајте околу 15 до 28 токени во секунда, зависно од поставката.
Дали RTX 3090 сè уште се исплати за локален AI во 2026?
За извршување, да. За околу 600 до 850 долари како користена, нуди најмногу VRAM по долар од сите потрошувачки картички, со 24 GB и единствената NVLink поддршка кај потрошувачките картички. Така системите со две картички од 48 GB за модели од 70B се поевтини од секоја алтернатива. Недостатоците се: нема гаранција, можна историја на рударење и малку помала брзина од 4090. Купете 4090 ако сакате гаранција, генерирање слики или лесно дообучување.
Зошто пропусноста на меморијата е поважна од брзината на процесорот или картичката?
За секој токен, активните тежини на моделот мора да поминат низ процесорот, па брзината ја ограничува колку брзо се чита меморијата, а не сировата пресметковна моќ. Затоа RTX 4090 со околу 1.000 GB/s изгледа моментално, а системската меморија со 70 до 90 GB/s е бавна за ист модел. И затоа самата побрза DDR5 може да ја зголеми брзината на процесорот за 20 или повеќе проценти.
Дали навистина ми треба модел од 405B, или е доволен 70B?
За речиси секоја практична намена, добро избран модел од 70B е доволен и често е еднаков или подобар од модел од 405B на тестовите, а чини дел од цената за работа. Модел од 405B бара околу 240 GB дури и на 4 бита, што е хардвер за податочен центар, па практично е само во облак. Чувајте го за посебни истражувања што навистина бараат најголем модел.