Servite i mudelli di IA da una NVIDIA Tesla P40 (24 GB VRAM, architettura Pascal): LLM, modelli d'imaghjini è altri pridizzioni. I servitori GPU ùn ponu ancora esse ordinati; cuntattateci per esse avvisati quandu si ponu.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Comandi d'installazione d'esempiu
L'inferenza AI significa eseguisce mudelli addestrati per pruduce previsioni. Un servitore di inferenza GPU mantene un mudellu caricatu in u GPU è risponde à e richieste assai più veloci di una CPU.
A GPU hè passata sulu ô vostru servituri, accussì a latenza ùn hè micca afflitta di i travagghi GPU di l'àutri clienti.
Usa Ollama, llama.cpp, Triton o a to API. Certi frameworks, comu vLLM, hannu bisognu di GPU cchiù novi di Pascal P40.
Esegui tanti servituri dintra lu vostru propiu bilanciamentu di caricu si una GPU nun basta.
Servite un mudellu di dimensioni medie o diversi più picculi.
AI Inference pò usari na GPU NVIDIA pi accelerari u so travagghiu. I servituri GPU VPS.org nun sunnu ancora dispunìbbili pi ordinà; cuntattateci pi sapiri quannu lu saranu. AI Inference hè un caricu di travagghiu acceleratu di GPU. Assicuratevi ca u vostru software hà supportu CUDA e ca i vostri versioni di driver/runtime currispondenu a li riquisiti di caricu di travagghiu di AI Inference.
I servituri GPU ùn ponu ancora esse ordinati. Oghje pudete eseguisce AI Inference nant'à un pianu CPU regulare, unni funziona assai cchiù lentamente ca nta na GPU: Accedi SSH è esegui pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
Li bisogni di VRAM pi AI Inference dipenninu dû mudellu e di la diminsioni di u batch; cunfirmà a documentazioni di u prugettu pi li cifri attuali.
U prezzu di a GPU sarà publicatu quannu i servitori GPU ponu esse ordinati. Cuntattateci si vulete sapiri quannu accadrà.
Sì. Ogni servitore VPS.org vene cù accessu root cumpletu, cusì pudete eseguisce altri strumenti incù AI Inference in a RAM è u almacenamentu di u servitore.
Ogni servituri VPS.org veni cun accessu SSH di root, cosi ca si pò installari drivers, libbirtati e AI Inference comu ti servi.
No. Nudda servera veni cun un runtime CUDA o un driver NVIDIA pre-installatu, e li servera GPU nun sunnu ancora dispunìbbili pi' ordinà. Tu installi li versioni AI Inference di cui ti servi.
Sì. i servitori VPS.org sò macchine virtuali persistenti, micca istanze effimere: i mudelli AI Inference, i cunfigurazioni è i dati restanu in u almacenamentu SSD di u servitore finu à chì li sguassàte.
Mantene i dati di travagliu in u SSD di u servitore per un accessu veloce durante l'esecuzioni di AI Inference, è copia l'artefatti finiti (peso, generazioni, incorporazioni) à u almacenamentu fora di VPS.org; snapshots e backups restanu in u listessu cluster di almacenamentu.
Potete aghjurnari ogni servituri VPS.org a un pianu cchiù granni di u pannellu di cuntrollu; a ridimensionamentu lu riavvia e l'installazione AI Inference si trasfirisci. I servituri GPU nun sunnu ancora dispunibbili.
Sì. I backup sò un add-on pagatu (quotidianu +30% di u prezzu di u pianu, mantenutu 7 ghjorni; settimanale +20%, mantenutu 28 ghjorni) è istantanee sò liberi, chì hè utile prima di longu AI Inference corre. Entrambi restanu in u listessu cluster di almacenamentu cum'è u servitore.
Cuntattate u supportu entro 30 ghjorni da u vostru primu acquistu per dumandà un rimborsu. I servitori GPU ùn sò micca ancora venduti, dunque ùn ci hè micca ordine GPU implicatu.
A capacità di a GPU hè limitata. Diteci di u vostru caricu di travagliu è vi rispondemu cu a disponibilità è u prezzu.