Pregătim serverele GPU cu NVIDIA Tesla P40 (24 GB VRAM, arhitectura Pascal) pentru rulare LLM-uri de surse deschise, cum ar fi Llama, Mistral și Gemma cu Ollama. Servetele GPU nu sunt încă commandabile; contactați-ne pentru a fi notificați atunci când sunt.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Exemplu de comandă de instalare
Ollama este un instrument ușor pentru rularea de modele de limbaj mari pe propria maşină. Pe un server GPU modelul se execută pe GPU în loc de CPU, ceea ce face răspunsurile mult mai rapid.
Trage Llama, Mistral, Gemma, Phi, Qwen și multe alte modele cu o comandă.
Modelele 7B la 13B se potrivesc confortabil și în jurul modelelor 30B atunci când sunt cuantizate. Modelele 70B nu se potrivesc pe o carte de 24 GB la niveluri de cuantizare comune.
Prompt și date rămâne pe serverul dvs., fără apeluri API de terțe părți.
Ollama expune un punct de vedere final compatible cu OpenAI pe care mulţi clienţi pot folosi.
Ollama poate folosi un NVIDIA GPU pentru a accelera munca sa. VPS.org serverele GPU nu sunt disponibile pentru a comanda încă; contactați-ne pentru a auzi atunci când sunt. Ollama este în principal o LLM-inference / încărcătură de lucru chat. Veți dori rapid acces aleatoriu citi de la disc la memorie și suficient VRAM pentru fereastra de model plus context.
Serverele GPU nu sunt disponibile pentru a comanda încă. Astăzi puteți rula Ollama pe un plan regulat de CPU, unde funcționează mult mai încet decât pe o GPU: SSH în și rula curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Scale VRAM cu modele LLM: modelul 7B are nevoie de aproximativ 5-8 GB de VRAM și modelul 13B de aproximativ 10 până la 14 GB, în timp ce modelele de clasa 70B au nevoie de mai multe GPU sau de o cuantizare grea.
Preţurile GPU vor fi publicate atunci când serverele GPU pot fi comandate. Contactaţi-ne dacă doriţi să auziţi când se întâmplă asta.
Da. Fiecare server VPS.org vine cu acces complet la rădăcină, astfel încât să puteți rula alte instrumente alături de Ollama în RAM și stocarea serverului.
Fiecare server VPS.org vine cu acces SSH root complet, astfel încât să puteți instala drivere, biblioteci și Ollama, oricum ai nevoie.
Nu. Nici un server nu vine cu un CUDA runtime sau driver NVIDIA preinstalat, iar serverele GPU nu sunt disponibile pentru a comanda încă. Instala versiunile Ollama are nevoie de tine.
Da. serverele VPS.org sunt mașini virtuale persistente, nu instanțele efemere: modele Ollama, configurații și datele rămân pe stocarea SSD serverului până când le ștergeți.
Păstrați datele de lucru pe SSD serverului pentru acces rapid în timpul rulărilor Ollama, și copiați artefacte finite (pondere, generații, încorporări) pentru a stoca în afara VPS.org; instantanii și rezerve de rezervă rămân pe același cluster de stocare.
Puteți actualiza orice server VPS.org la un plan mai mare din panou de control; reîncărcarea de redimensionare a acestuia și instalarea Ollama are peste. Serverele GPU nu sunt disponibile încă.
Da. Backup-urile sunt un adăugare plătit (în fiecare zi +30% din preţul planului, păstrat 7 zile; săptămânal +20%, păstrat 28 zile) şi instantaniile sunt gratuite, care este util înainte de rulează Ollama lung. Amândoi rămâne pe acelaşi cluster de stocare ca serverul.
Suport de contact în termen de 30 de zile de la prima achiziție pentru a solicita o rambursare. Serverii GPU nu sunt vândute încă, astfel încât nu este implicat comanda GPU.
Capacitatea GPU este limitată. Spune-ne despre încărcătura ta și vom răspunde cu disponibilitate și prețuri.