Inloggen
Menu
Workload-handleiding · AIAltijd aan 24/7

Local AI inference: handleiding hardwarevereisten

LLM's of andere modellen lokaal draaien (Ollama, vLLM, llama.cpp).

Hardwarevereisten per niveau

Drie niveaus voor elke workload: het minimum dat werkt, de aanbevolen sweet spot en het comfortabele marge-niveau. Dit zijn dezelfde niveaus die de WisePC-beslissingsengine gebruikt wanneer hij een build rond je doel plant.

CPU-cores
12cores
RAM
32GB
Opslag
1TB
SSD
GPU
ai
16 GB VRAM
NiveauCPU-coresRAMOpslagGPUVRAMNetwerk
Minimum8 cores16 GB1 TB (ssd)ai12 GB VRAM1 GbE
Aanbevolen12 cores32 GB1 TB (ssd)ai16 GB VRAM2.5 GbE
Comfortabel16 cores64 GB2 TB (ssd)ai24 GB VRAM10 GbE
Overkill26 cores103 GB4 TB (ssd)ai24 GB VRAM10 GbE

Voorbij Comfortabel — 26 cores, 103 GB RAM, 4 TB (SSD): headroom die je voor deze workload alleen nooit gebruikt. Steek het verschil in opslag, backup of stilte.

Aanbevolen systeemvorm

Afgeleid door de decision engine uit het aanbevolen niveau — dezelfde logica die complete builds plant.

Vormfactor
tower
Bouwstijl
diy
Schijfplan
2× 2TB NVMe

Requirements (12 threads, 32GB RAM, 4TB storage, dedicated GPU) need a custom tower build.

Eén systeem of een aparte?Blijft op de hoofdserver

Of deze workload een eigen machine verdient of op de hoofdserver moet blijven.

GPU-bound compute is expensive to duplicate — a second GPU box roughly doubles cost for little resilience gain. Keep it on the main machine.

Opslagarrays, met prijzen

Vijf fysieke strategieën voor de aanbevolen capaciteit — dezelfde planner, hetzelfde schijfmodel en dezelfde referentieprijzen als de opslagtool.

StrategieSchijvenBruikbaarKostenIdle
Cheapest 1× 4TB hdd4 TB · none≈ €1005 W
Balanced 1× 16TB hdd16 TB · none≈ €2406 W
Redundant 3× 8TB hdd8 TB · parity2≈ €45015 W
Expansion-friendly 1× 20TB hdd20 TB · none≈ €3007 W
Performance Aanbevolen2× 4TB nvme4 TB · parity1≈ €4802 W

For a fast working tier, go all-flash — the performance strategy protects speed without the HDD rebuild pain.

Backup is geen opslag

De extra kopie die schijfstoringen, verwijdering en ransomware overleeft — dezelfde engine als de backupplanner.

Protect 1TB with at least two copies on separate hardware, ideally one offsite. The recommended start is a dedicated NAS.

Aanbevolen: Separate NAS
A dedicated box that only stores backups · ≈ €278
high
No offsite copy

Add a second copy outside the building — cloud or a drive at a friend's house.

medium
No versioning

Use a versioning-aware tool (restic, borg, Backblaze) that keeps history.

medium
Unscheduled backups

Schedule backups automatically and monitor them.

medium
Backup on the same machine

Keep the backup on separate hardware or offsite.

Wat gaat het kosten?

Marktneutrale EUR-banden uit het referentiemodel (≈ = geschatte straatprijs). Live componentprijzen staan op de buildpagina voor jouw regio.

Opslagarray
≈ €100 – €480
Array-energie / jaar
≈ €81/yr
∼37 W idle

Rekenkracht (CPU, board, RAM, GPU) niet inbegrepen — zie de aanbevolen build voor live prijzen.

Groeivooruitzicht

Wat er gebeurt als de data blijft groeien — dezelfde engine als de groeisimulator.

This architecture becomes inadequate in year 2 — 2 bays needed. Plan the next step (bigger array, NAS or DAS, or a stronger platform) before then.

Exceeds max 2TB by 1TB — need larger array/DAS/NAS. Fresh Performance array for 3TB: 2 bays, ~480€.

Welk niveau heb je nodig?

  • Kies Minimum (8 cores, 16 GB RAM) alleen voor een single-purpose machine met een krap budget — verwacht weinig marge.
  • Aanbevolen (12 cores, 32 GB RAM) is de sweet spot: genoeg voor de workload plus de gebruikelijke bij-diensten, zonder te veel uit te geven.
  • Kies Comfortabel (16 cores, 64 GB RAM) wanneer deze workload de machine deelt met andere of gaat groeien — je betaalt voor marge, niet voor angst.
  • GPU-regel voor deze workload: ai.GPU-regel voor deze workload: ai (16 GB VRAM).

Ook behandeld in deze gids

Code-assistent (lokale LLM)

Lokale code-completie en chatmodellen (Ollama, Continue).

Veelgestelde vragen

Hoeveel RAM heeft local ai inference nodig?

16 GB is het verstandige minimum, 32 GB dekt de meeste echte setups en 64 GB geeft comfortabele marge voor groei en extra diensten.

Hoeveel CPU-cores heeft local ai inference nodig?

Een CPU met 8 cores is het minimum, 12 cores is de aanbevolen sweet spot en 16 cores is comfortabel wanneer hij de machine deelt met andere workloads.

Heeft local ai inference een dedicated GPU nodig?

Een dedicated GPU wordt sterk aanbevolen — deze workload doet AI-compute. Nodig: 12–24 GB VRAM (12 minimum, 16 aanbevolen, 24 comfortabel).

Welke opslag en welk netwerk verwacht local ai inference?

Opslag: 1 TB aan SSD is de aanbevolen basislijn (1 TB minimum, 2 TB comfortabel). Netwerk: 2.5 GbE is de aanbevolen basislijn.

Wat draait goed naast local ai inference?

Het combineert van nature met: Beeldgeneratie, AI-experimenten, Databases.

Hoeveel stroom verbruikt local ai inference?

De array idlet rond 37 W (≈ 81 €/jaar bij 0,25 €/kWh). Het complete systeem telt CPU, board en fans erbij op — zie de kostensectie voor eerlijke banden.