Modelele Meta Llama din auto-gazdă pe NVIDIA Tesla P40 (24 GB VRAM, arhitectura Pascal). Adaptate la modelele 8B cu precizie completă și modele mai mari atunci când se cuantizează. Serverele GPU nu sunt încă ordonabile; contactați-ne pentru a fi notificate atunci când acestea sunt.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Exemplu de comandă de instalare
Llama este familia lui Meta de modele de limbaj mare disponibil deschis. Functionarea Llama pe propriul server GPU menține prompte și date private.
Se rulează modelele 8B pe 24 GB de VRAM. Modelele 70B nu se potrivesc pe o singură carte de 24 GB la niveluri de cuantizare comune.
Promptele și datele rămân pe serverul dvs., fără apeluri API de terțe părți.
Utilizaţi GGUF cu lama.cpp sau Olama, sau greutatea nativă PyTorch.
Serviți modele cu Ollama sau serverul lama.cpp pentru un endpoint compatible cu OpenAI.
LLaMA poate folosi un NVIDIA GPU pentru a accelera munca sa. VPS.org serverele GPU nu sunt disponibile pentru a comanda încă; contactați-ne pentru a auzi atunci când sunt. LLaMA este o încărcătură generală de muncă accelerată GPU. Asigurați-vă că software-ul dvs. are suport CUDA și că versiunile de driver / runtime corespunde cerințele de încărcare de muncă pentru LLaMA.
Serverele GPU nu sunt disponibile pentru a comanda încă. Astăzi puteți rula LLaMA pe un plan regulat de CPU, unde funcționează mult mai încet decât pe o GPU: SSH în și rula curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM necesități pentru LLaMA depinde de dimensiunile modelului și lotului; verificați documentația proiectului pentru cifrele actuale.
Preţurile GPU vor fi publicate atunci când serverele GPU pot fi comandate. Contactaţi-ne dacă doriţi să auziţi când se întâmplă asta.
Da. Fiecare server VPS.org vine cu acces complet la rădăcină, astfel încât să puteți rula alte instrumente alături de LLaMA în RAM și stocarea serverului.
Fiecare server VPS.org vine cu acces SSH root complet, astfel încât să puteți instala drivere, biblioteci și LLaMA, oricum ai nevoie.
Nu. Nici un server nu vine cu un CUDA runtime sau driver NVIDIA preinstalat, iar serverele GPU nu sunt disponibile pentru a comanda încă. Instala versiunile LLaMA are nevoie de tine.
Da. serverele VPS.org sunt mașini virtuale persistente, nu instanțele efemere: modele LLaMA, configurații și datele rămân pe stocarea SSD serverului până când le ștergeți.
Păstrați datele de lucru pe SSD serverului pentru acces rapid în timpul rulărilor LLaMA, și copiați artefacte finite (pondere, generații, încorporări) pentru a stoca în afara VPS.org; instantanii și rezerve de rezervă rămân pe același cluster de stocare.
Puteți actualiza orice server VPS.org la un plan mai mare din panou de control; reîncărcarea de redimensionare a acestuia și instalarea LLaMA are peste. Serverele GPU nu sunt disponibile încă.
Da. Backup-urile sunt un adăugare plătit (în fiecare zi +30% din preţul planului, păstrat 7 zile; săptămânal +20%, păstrat 28 zile) şi instantaniile sunt gratuite, care este util înainte de rulează LLaMA lung. Amândoi rămâne pe acelaşi cluster de stocare ca serverul.
Suport de contact în termen de 30 de zile de la prima achiziție pentru a solicita o rambursare. Serverii GPU nu sunt vândute încă, astfel încât nu este implicat comanda GPU.
Capacitatea GPU este limitată. Spune-ne despre încărcătura ta și vom răspunde cu disponibilitate și prețuri.