LLM szerver – helyi nagy nyelvi modell futtatás

Ha saját, helyben futó nagy nyelvi modellt szeretnél – cégen belüli chatbotot, RAG-rendszert vagy privát asszisztenst –, ehhez nem felhő kell, hanem megfelelő hardver.

Egy nagy nyelvi modell futtatásánál, vagyis inference feladatnál, a legszűkebb keresztmetszet majdnem mindig a videókártya memóriája. Egy 13 milliárd paraméteres modell kvantálva is könnyen betölthet 10–16 GB VRAM-ot, egy nagyobb, 70 milliárd paraméteres modell pedig már több tíz, akár 100+ gigabájtot is kérhet. Ezért az LLM szerverek NVIDIA RTX PRO Blackwell videókártyákra épülnek, amelyek 16 GB-tól akár 96 GB-ig elérhetők egy kártyán, és több GPU-val tovább bővíthetők. Minél nagyobb a VRAM, annál nagyobb modellt tudsz futtatni helyben, anélkül hogy az adataid kikerülnének a céges hálózatból egy külső AI szolgáltató szerverére.

Ez pontosan azoknak a vállalatoknak fontos, ahol adatvédelmi vagy megfelelőségi okokból nem lehet céges dokumentumot, ügyféladatot vagy belső tudásbázist egy nyilvános AI chatbotba feltölteni. Egy saját LLM szerverrel a modell, az adat és a válasz mind a te infrastruktúrádon belül marad. A gépek dual és quad GPU kivitelben is elérhetők, így a kezdő, egy-GPU-s belépő szervertől egészen a nagy, párhuzamos modellfuttatásra képes konfigurációig mindenki megtalálja a saját méretét.

LLM keretrendszerek & inference engine-ek

vLLM

Ollama

llama.cpp

Open WebUI

Modellek & ökoszisztéma

Llama

Hugging Face

NVIDIA CUDA

AI LLM Ultra szerverek

AI LLM Ultra dual GPU szerverek

AI LLM Ultra quad GPU szerverek

Hány GPU kell a modelledhez?

Sorozat	GPU	Ideális
AI LLM Ultra	1 db NVIDIA RTX PRO, 32 GB	közepes, kvantált modellek, egy csapat vagy egy részleg
AI LLM Ultra dual GPU	2 db NVIDIA RTX PRO, 32 vagy 48 GB kártyánként	nagyobb modellek magasabb pontossággal, több párhuzamos felhasználó
AI LLM Ultra quad GPU	4 db NVIDIA RTX PRO, 48 GB kártyánként	a legnagyobb nyílt modellek, vállalati szintű terhelés

Mitől jó egy LLM szerver?

Sok videómemória – a modell súlyai és a kontextus a GPU-n dolgoznak, ez adja a sebességet.
Sok rendszermemória – 256–512 GB ECC RAM a modellek gyors betöltéséhez és a RAG-indexekhez.
Threadripper PRO platform – bőséges PCIe sávszélesség a több GPU-hoz, stabil, éjjel-nappali üzem.
Bevált szoftverek – vLLM, Ollama, llama.cpp és Open WebUI – a népszerű inference motorok mind futnak rajta.

Kisebb céges projekthez vagy kísérletezéshez a kisvállalati AI szerverek is jó kiindulópontot adnak, saját modell tanításához pedig a Deep Learning munkaállomásokat ajánljuk.

Gyakori kérdések

Mekkora modellt futtathatok egy GPU-n?
Egy 32 GB-os professzionális kártyán a 30 milliárd paraméter körüli modellek kvantálva kényelmesen futnak. A 70 milliárd paraméteres és nagyobb modellekhez a dual és quad GPU-s szervereket ajánljuk, ahol a kártyák memóriája összeadódik.

Hány felhasználót szolgál ki egy LLM szerver?
Ez a modell méretétől és a válaszok hosszától függ. Egy GPU egy kisebb csapatot kényelmesen kiszolgál, a dual és quad GPU-s gépek párhuzamosan sok kérést kezelnek. Írd meg a tervezett terhelést, és ehhez méretezzük a gépet.

Segítünk választani! Írd meg, mire használnád a gépet, és fix áras ajánlatot küldünk. Az új géped már a polcon vár. Ajánlatot kérek »