Iniciar sessão
Menu
Guia de cargas de trabalho · IASempre ligado 24/7

Local AI inference: guia de requisitos de hardware

Executar LLMs ou outros modelos localmente (Ollama, vLLM, llama.cpp).

Requisitos de hardware por nível

Três níveis para cada carga: o mínimo que funciona, o ponto ideal recomendado e o nível confortável de margem. São os mesmos níveis que o motor de decisão WisePC usa quando planeia um build em torno do teu objetivo.

Núcleos de CPU
12cores
RAM
32GB
Armazenamento
1TB
SSD
GPU
ai
16 GB de VRAM
NívelNúcleos de CPURAMArmazenamentoGPUVRAMRede
Mínimo8 cores16 GB1 TB (ssd)ai12 GB de VRAM1 GbE
Recomendado12 cores32 GB1 TB (ssd)ai16 GB de VRAM2.5 GbE
Confortável16 cores64 GB2 TB (ssd)ai24 GB de VRAM10 GbE
Exagerado26 cores103 GB4 TB (ssd)ai24 GB de VRAM10 GbE

Além de Confortável — 26 núcleos, 103 GB de RAM, 4 TB (SSD): margem que nunca usará só para este workload. Ponha a diferença em armazenamento, backup ou silêncio.

Formato de sistema recomendado

Derivado pelo motor de decisão do nível recomendado — a mesma lógica que planeia builds completos.

Fator de forma
tower
Estilo de montagem
diy
Plano de discos
2× 2TB NVMe

Requirements (12 threads, 32GB RAM, 4TB storage, dedicated GPU) need a custom tower build.

Uma caixa ou uma dedicada?Fica no servidor principal

Se este workload merece a sua própria máquina ou deve viver no servidor principal.

GPU-bound compute is expensive to duplicate — a second GPU box roughly doubles cost for little resilience gain. Keep it on the main machine.

Arrays de armazenamento, com preços

Cinco estratégias físicas para a capacidade recomendada — mesmo planeador, mesmo modelo de discos e mesmos preços de referência que a ferramenta de armazenamento.

EstratégiaDiscosÚtilCustoRepouso
Cheapest 1× 4TB hdd4 TB · none≈ €1005 W
Balanced 1× 16TB hdd16 TB · none≈ €2406 W
Redundant 3× 8TB hdd8 TB · parity2≈ €45015 W
Expansion-friendly 1× 20TB hdd20 TB · none≈ €3007 W
Performance Recomendado2× 4TB nvme4 TB · parity1≈ €4802 W

For a fast working tier, go all-flash — the performance strategy protects speed without the HDD rebuild pain.

Backup não é armazenamento

A cópia extra que sobrevive a falhas, eliminações e ransomware — mesmo motor que o planeador de backup.

Protect 1TB with at least two copies on separate hardware, ideally one offsite. The recommended start is a dedicated NAS.

Recomendado: Separate NAS
A dedicated box that only stores backups · ≈ €278
high
No offsite copy

Add a second copy outside the building — cloud or a drive at a friend's house.

medium
No versioning

Use a versioning-aware tool (restic, borg, Backblaze) that keeps history.

medium
Unscheduled backups

Schedule backups automatically and monitor them.

medium
Backup on the same machine

Keep the backup on separate hardware or offsite.

Quanto vai custar?

Intervalos EUR neutros do modelo de referência (≈ = preço de rua estimado). Os preços reais estão na página do build para a sua região.

Array de discos
≈ €100 – €480
Energia array / ano
≈ €81/yr
∼37 W idle

A computação (CPU, placa, RAM, GPU) não está incluída — veja o build recomendado para preços em direto.

Perspetiva de crescimento

O que acontece quando os dados continuam a crescer — mesmo motor que o simulador de crescimento.

This architecture becomes inadequate in year 2 — 2 bays needed. Plan the next step (bigger array, NAS or DAS, or a stronger platform) before then.

Exceeds max 2TB by 1TB — need larger array/DAS/NAS. Fresh Performance array for 3TB: 2 bays, ~480€.

De que nível precisas?

  • Escolhe Mínimo (8 núcleos, 16 GB de RAM) apenas para uma máquina de uso único com orçamento apertado — espera pouca margem.
  • Recomendado (12 núcleos, 32 GB de RAM) é o ponto ideal: suficiente para a carga mais os serviços secundários habituais, sem gastar demais.
  • Escolhe Confortável (16 núcleos, 64 GB de RAM) quando esta carga partilha a máquina com outras ou vai crescer — pagas por margem, não por ansiedade.
  • Regra de GPU para esta carga: ai.Regra GPU para esta carga: ai (16 GB de VRAM).

Também abordado neste guia

Assistente de código (LLM local)

Modelos locais de conclusão de código e chat (Ollama, Continue).

Perguntas frequentes

Quanta RAM precisa o local ai inference?

16 GB é o mínimo sensato, 32 GB cobre a maioria das configurações reais e 64 GB dá margem confortável para crescimento e serviços extra.

De quantos núcleos de CPU precisa o local ai inference?

Uma CPU com 8 núcleos é o mínimo, 12 núcleos é o ponto ideal recomendado e 16 núcleos é confortável quando partilha a máquina com outras cargas.

O local ai inference precisa de uma GPU dedicada?

Uma GPU dedicada é fortemente recomendada — esta carga faz computação de IA. Precisa de 12–24 GB de VRAM (12 mínimo, 16 recomendado, 24 confortável).

Que armazenamento e rede o local ai inference espera?

Armazenamento: 1 TB de SSD é a linha de base recomendada (1 TB mínimo, 2 TB confortável). Rede: 2.5 GbE é a linha de base recomendada.

O que funciona bem ao lado do local ai inference?

Combina naturalmente com: Geração de imagens, Experimentação com IA, Bases de dados.

Quanta energia consome local ai inference?

O array consome cerca de 37 W em repouso (≈ 81 €/ano a 0,25 €/kWh). O sistema completo soma CPU, placa e ventoinhas — ver a secção de custo para intervalos honestos.