Stimu preparandu i servitori GPU cù un NVIDIA Tesla P40 (24 GB VRAM, architettura Pascal) per eseguisce LLM open source cum'è Llama, Mistral è Gemma cù Ollama. I servitori GPU ùn sò ancora ordinabili; cuntattateci per esse notificati quandu sò.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Comandi d'installazione d'esempiu
Ollama hè un strumentu leggeru pi' eseguì granni mudelli linguistichi supra a vostra propria màchina. Supra un servituri GPU u mudellu hè eseguitu supra a GPU anzicch'â CPU, chi fa ca li risposti sunnu assai cchiù veloci.
Tirare Llama, Mistral, Gemma, Phi, Qwen è tanti altri mudelli cù un comando.
Si adatta à i modelli 7B à 13B cunfortu è intorno à i modelli 30B quandu quantizatu. I modelli 70B ùn si adattanu micca à una scheda di 24 GB à livelli di quantizazione cumuni.
Li pruposte e i dati restanu supra lu vostru servituri, senza chiamate API di terze parti.
U filu di l'angulu hè un'unità di misura di a distanza chì pò esse usata da parechji utilizatori.
Ollama pò usari na GPU NVIDIA pi accelerari u so travagghiu. I servituri GPU VPS.org nun sunnu ancora dispunìbbili pi' l'ordine; cuntattateci pi' sapiri quannu li truverete. Ollama hè pricipalmenti un caricu di travagghiu di infirienza LLM / chat. Volete leghji veloci di accès casuali di u discu a la memoria e abbastanza VRAM pi lu mudellu e la finestra di cuntestu.
I servituri GPU ùn ponu ancora esse ordinati. Oghje pudete eseguisce Ollama nant'à un pianu CPU regulare, unni funziona assai cchiù lentamente ca nta na GPU: Accedi SSH è esegui curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
L'infirienza LLM VRAM scala cù i parametri di u mudellu: un mudellu 7B hà bisognu di circa 5 à 8 GB di VRAM è un mudellu 13B circa 10 à 14 GB, mentri i mudelli di classe 70B anu bisognu di parechje GPU o quantizazione pesante.
U prezzu di a GPU sarà publicatu quannu i servitori GPU ponu esse ordinati. Cuntattateci si vulete sapiri quannu accadrà.
Sì. Ogni servitore VPS.org vene cù accessu root cumpletu, cusì pudete eseguisce altri strumenti incù Ollama in a RAM è u almacenamentu di u servitore.
Ogni servituri VPS.org veni cun accessu SSH di root, cosi ca si pò installari drivers, libbirtati e Ollama comu ti servi.
No. Nudda servera veni cun un runtime CUDA o un driver NVIDIA pre-installatu, e li servera GPU nun sunnu ancora dispunìbbili pi' ordinà. Tu installi li versioni Ollama di cui ti servi.
Sì. i servitori VPS.org sò macchine virtuali persistenti, micca istanze effimere: i mudelli Ollama, i cunfigurazioni è i dati restanu in u almacenamentu SSD di u servitore finu à chì li sguassàte.
Mantene i dati di travagliu in u SSD di u servitore per un accessu veloce durante l'esecuzioni di Ollama, è copia l'artefatti finiti (peso, generazioni, incorporazioni) à u almacenamentu fora di VPS.org; snapshots e backups restanu in u listessu cluster di almacenamentu.
Potete aghjurnari ogni servituri VPS.org a un pianu cchiù granni di u pannellu di cuntrollu; a ridimensionamentu lu riavvia e l'installazione Ollama si trasfirisci. I servituri GPU nun sunnu ancora dispunibbili.
Sì. I backup sò un add-on pagatu (quotidianu +30% di u prezzu di u pianu, mantenutu 7 ghjorni; settimanale +20%, mantenutu 28 ghjorni) è istantanee sò liberi, chì hè utile prima di longu Ollama corre. Entrambi restanu in u listessu cluster di almacenamentu cum'è u servitore.
Cuntattate u supportu entro 30 ghjorni da u vostru primu acquistu per dumandà un rimborsu. I servitori GPU ùn sò micca ancora venduti, dunque ùn ci hè micca ordine GPU implicatu.
A capacità di a GPU hè limitata. Diteci di u vostru caricu di travagliu è vi rispondemu cu a disponibilità è u prezzu.