Accedi
Menu
Guida ai carichi di lavoro · IASempre acceso 24/7

Local AI inference: guida ai requisiti hardware

Eseguire LLM o altri modelli localmente (Ollama, vLLM, llama.cpp).

Requisiti hardware per livello

Tre livelli per ogni carico: il minimo che funziona, il punto dolce consigliato e il livello comodo di margine. Sono gli stessi livelli che il motore di decisione WisePC usa quando pianifica un build attorno al tuo obiettivo.

Core CPU
12cores
RAM
32GB
Archiviazione
1TB
SSD
GPU
ai
16 GB di VRAM
LivelloCore CPURAMArchiviazioneGPUVRAMRete
Minimo8 cores16 GB1 TB (ssd)ai12 GB di VRAM1 GbE
Consigliato12 cores32 GB1 TB (ssd)ai16 GB di VRAM2.5 GbE
Comodo16 cores64 GB2 TB (ssd)ai24 GB di VRAM10 GbE
Eccessivo26 cores103 GB4 TB (ssd)ai24 GB di VRAM10 GbE

Oltre Confortevole — 26 core, 103 GB di RAM, 4 TB (SSD): margine che non userai mai per questo solo workload. Metti la differenza in storage, backup o silenzio.

Forma di sistema consigliata

Derivata dal motore decisionale dal livello consigliato — la stessa logica che pianifica build complete.

Fattore di forma
tower
Stile di assemblaggio
diy
Piano dischi
2× 2TB NVMe

Requirements (12 threads, 32GB RAM, 4TB storage, dedicated GPU) need a custom tower build.

Un solo sistema o uno dedicato?Resta sul server principale

Se questo workload merita una macchina propria o deve restare sul server principale.

GPU-bound compute is expensive to duplicate — a second GPU box roughly doubles cost for little resilience gain. Keep it on the main machine.

Array di storage, con prezzi

Cinque strategie fisiche per la capacità consigliata — stesso pianificatore, stesso modello dischi e stessi prezzi di riferimento dello strumento storage.

StrategiaDischiUtileCostoIdle
Cheapest 1× 4TB hdd4 TB · none≈ €1005 W
Balanced 1× 16TB hdd16 TB · none≈ €2406 W
Redundant 3× 8TB hdd8 TB · parity2≈ €45015 W
Expansion-friendly 1× 20TB hdd20 TB · none≈ €3007 W
Performance Consigliato2× 4TB nvme4 TB · parity1≈ €4802 W

For a fast working tier, go all-flash — the performance strategy protects speed without the HDD rebuild pain.

Il backup non è storage

La copia extra che sopravvive a guasti, cancellazioni e ransomware — stesso motore del pianificatore backup.

Protect 1TB with at least two copies on separate hardware, ideally one offsite. The recommended start is a dedicated NAS.

Consigliato: Separate NAS
A dedicated box that only stores backups · ≈ €278
high
No offsite copy

Add a second copy outside the building — cloud or a drive at a friend's house.

medium
No versioning

Use a versioning-aware tool (restic, borg, Backblaze) that keeps history.

medium
Unscheduled backups

Schedule backups automatically and monitor them.

medium
Backup on the same machine

Keep the backup on separate hardware or offsite.

Quanto costerà?

Fasce EUR neutrali dal modello di riferimento (≈ = prezzo di strada stimato). I prezzi live dei componenti sono sulla pagina della build per la tua regione.

Array di dischi
≈ €100 – €480
Energia array / anno
≈ €81/yr
∼37 W idle

Il calcolo (CPU, scheda, RAM, GPU) non è incluso — vedi la build consigliata per i prezzi live.

Prospettive di crescita

Cosa succede quando i dati continuano a crescere — stesso motore del simulatore di crescita.

This architecture becomes inadequate in year 2 — 2 bays needed. Plan the next step (bigger array, NAS or DAS, or a stronger platform) before then.

Exceeds max 2TB by 1TB — need larger array/DAS/NAS. Fresh Performance array for 3TB: 2 bays, ~480€.

Di quale livello hai bisogno?

  • Scegli Minimo (8 core, 16 GB di RAM) solo per una macchina a uso singolo con budget ridotto — aspettati poco margine.
  • Consigliato (12 core, 32 GB di RAM) è il punto dolce: abbastanza per il carico più i soliti servizi accessori, senza spendere troppo.
  • Scegli Comodo (16 core, 64 GB di RAM) quando questo carico condivide la macchina con altri o crescerà — paghi per il margine, non per l'ansia.
  • Regola GPU per questo carico: ai.Regola GPU per questo workload: ai (16 GB di VRAM).

Trattato anche in questa guida

Assistente codice (LLM locale)

Modelli locali di completamento codice e chat (Ollama, Continue).

Domande frequenti

Quanta RAM serve a local ai inference?

16 GB è il minimo sensato, 32 GB copre la maggior parte delle configurazioni reali e 64 GB dà un margine comodo per la crescita e i servizi extra.

Quanti core CPU servono a local ai inference?

Una CPU da 8 core è il minimo, 12 core è il punto dolce consigliato e 16 core è comodo quando condivide la macchina con altri carichi.

local ai inference ha bisogno di una GPU dedicata?

Una GPU dedicata è fortemente consigliata: questo carico fa calcolo IA. Servono 12–24 GB di VRAM (12 minimo, 16 consigliato, 24 confortevole).

Quale archiviazione e rete si aspetta local ai inference?

Archiviazione: 1 TB di SSD è la base consigliata (1 TB minimo, 2 TB comodo). Rete: 2.5 GbE è la base consigliata.

Cosa funziona bene accanto a local ai inference?

Si abbina naturalmente con: Generazione immagini, Sperimentazione AI, Database.

Quanta energia consuma local ai inference?

L'array consuma circa 37 W in idle (≈ 81 €/anno a 0,25 €/kWh). Il sistema completo aggiunge CPU, scheda e ventole — vedi la sezione costi per fasce oneste.