Auto-host i mudelli Llama di Meta supra a NVIDIA Tesla P40 (24 GB VRAM, architettura Pascal). Adattu a modelli 8B a piena precisioni e modelli cchiù granni quannu quantizzati. I servitori GPU nun si ponnu ancora ordinà; cuntattateci pi avissi nutizia quannu si ponu ordinà.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Comandi d'installazione d'esempiu
Llama è a famigghia di Meta di mudelli di linguaggiu granni è dispunibbili. Eseguiri Llama supra lu vostru servituri GPU mantini li pruposte è i dati privati.
Funziona i mudelli 8B in 24 GB di VRAM. I mudelli 70B ùn si adattanu micca à una scheda singula di 24 GB à livelli di quantizazione cumuni.
Li vostri pruposte e dati restanu supra lu vostru servituri, senza chiamate API di terze parti.
Usa GGUF cu llama.cpp o Ollama, o li pesi nativi di PyTorch.
Servite i mudelli cù Ollama o u servitore llama.cpp per un puntu finali cumpatibile OpenAI.
LLaMA pò usari na GPU NVIDIA pi accelerari u so travagghiu. I servituri GPU VPS.org nun sunnu ancora dispunìbbili pi ordinà; cuntattateci pi sapiri quannu lu saranu. LLaMA hè un caricu di travagghiu acceleratu di GPU. Assicuratevi ca u vostru software hà supportu CUDA e ca i vostri versioni di driver/runtime currispondenu a li riquisiti di caricu di travagghiu di LLaMA.
I servituri GPU ùn ponu ancora esse ordinati. Oghje pudete eseguisce LLaMA nant'à un pianu CPU regulare, unni funziona assai cchiù lentamente ca nta na GPU: Accedi SSH è esegui curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Li bisogni di VRAM pi LLaMA dipenninu dû mudellu e di la diminsioni di u batch; cunfirmà a documentazioni di u prugettu pi li cifri attuali.
U prezzu di a GPU sarà publicatu quannu i servitori GPU ponu esse ordinati. Cuntattateci si vulete sapiri quannu accadrà.
Sì. Ogni servitore VPS.org vene cù accessu root cumpletu, cusì pudete eseguisce altri strumenti incù LLaMA in a RAM è u almacenamentu di u servitore.
Ogni servituri VPS.org veni cun accessu SSH di root, cosi ca si pò installari drivers, libbirtati e LLaMA comu ti servi.
No. Nudda servera veni cun un runtime CUDA o un driver NVIDIA pre-installatu, e li servera GPU nun sunnu ancora dispunìbbili pi' ordinà. Tu installi li versioni LLaMA di cui ti servi.
Sì. i servitori VPS.org sò macchine virtuali persistenti, micca istanze effimere: i mudelli LLaMA, i cunfigurazioni è i dati restanu in u almacenamentu SSD di u servitore finu à chì li sguassàte.
Mantene i dati di travagliu in u SSD di u servitore per un accessu veloce durante l'esecuzioni di LLaMA, è copia l'artefatti finiti (peso, generazioni, incorporazioni) à u almacenamentu fora di VPS.org; snapshots e backups restanu in u listessu cluster di almacenamentu.
Potete aghjurnari ogni servituri VPS.org a un pianu cchiù granni di u pannellu di cuntrollu; a ridimensionamentu lu riavvia e l'installazione LLaMA si trasfirisci. I servituri GPU nun sunnu ancora dispunibbili.
Sì. I backup sò un add-on pagatu (quotidianu +30% di u prezzu di u pianu, mantenutu 7 ghjorni; settimanale +20%, mantenutu 28 ghjorni) è istantanee sò liberi, chì hè utile prima di longu LLaMA corre. Entrambi restanu in u listessu cluster di almacenamentu cum'è u servitore.
Cuntattate u supportu entro 30 ghjorni da u vostru primu acquistu per dumandà un rimborsu. I servitori GPU ùn sò micca ancora venduti, dunque ùn ci hè micca ordine GPU implicatu.
A capacità di a GPU hè limitata. Diteci di u vostru caricu di travagliu è vi rispondemu cu a disponibilità è u prezzu.