Modelli Llama auto-host Meta su una NVIDIA Tesla P40 (24 GB VRAM, architettura Pascal). Adatto a modelli 8B a piena precisione e modelli più grandi quando quantizzati. I server GPU non sono ancora ordinabili; contattaci per essere avvisati quando lo sono.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Esempio di comando di installazione
Llama è la famiglia di Meta di grandi modelli di lingua disponibili apertamente. L'esecuzione di Llama sul proprio server GPU mantiene i prompt e i dati privati.
Esegui modelli 8B su 24 GB di VRAM. I modelli 70B non si adattano a una singola scheda da 24 GB a livelli di quantizzazione comuni.
I tuoi suggerimenti e dati rimangono sul tuo server, senza chiamate API di terze parti.
Usare GGUF con lama.cpp o Ollama, o pesi PyTorch nativi.
Servire i modelli con Ollama o il server lama.cpp per un endpoint compatibile con OpenAI.
LLaMA può usare una GPU NVIDIA per velocizzare il suo lavoro. i server GPU VPS.org non sono ancora disponibili per l'ordine; contattaci per sentire quando lo sono. LLaMA è un carico di lavoro generalmente accelerato dalla GPU. Assicurati che il tuo software abbia il supporto CUDA e che le versioni driver/runtime corrispondano ai requisiti di carico di lavoro per LLaMA.
I server GPU non sono ancora disponibili per l'ordine. Oggi è possibile eseguire LLaMA su un piano normale della CPU, dove funziona molto più lentamente che su una GPU: SSH dentro e eseguire curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Le esigenze di VRAM per LLaMA dipendono dal modello e dalle dimensioni del lotto; controllare la documentazione del progetto per le cifre attuali.
I prezzi GPU saranno pubblicati quando i server GPU possono essere ordinati. Contattaci se vuoi sentire quando ciò accade.
Sì. Ogni server VPS.org è dotato di accesso root completo, in modo da poter eseguire altri strumenti insieme a LLaMA all'interno della RAM e dello storage del server.
Ogni server VPS.org è dotato di accesso SSH completo, in modo da poter installare driver, librerie e LLaMA comunque ti servano.
No. Nessun server viene fornito con un runtime CUDA o driver NVIDIA preinstallato, e i server GPU non sono ancora disponibili per l'ordine. Si installano le versioni LLaMA ha bisogno di te.
Sì. i server VPS.org sono macchine virtuali persistenti, non istanze effimere: modelli LLaMA, config e dati rimangono sullo storage SSD del server fino a quando non li cancelli.
Continuare a lavorare i dati sull'SSD del server per un accesso veloce durante le corse di LLaMA e copiare manufatti finiti (pesi, generazioni, inserzioni) per lo storage fuori da VPS.org; le istantanee e i backup rimangono sullo stesso cluster di storage.
È possibile aggiornare qualsiasi server VPS.org a un piano più grande dal pannello di controllo; il ridimensionamento lo riavvia e l'installazione LLaMA porta a termine. I server GPU non sono ancora disponibili.
Sì. I backup sono un add-on a pagamento (al giorno +30% del prezzo del piano, mantenuto 7 giorni; settimanale +20%, mantenuto 28 giorni) e le istantanee sono gratuite, che è utile prima di lunghe corse LLaMA. Entrambi rimangono sullo stesso cluster di archiviazione del server.
Contatta il supporto entro 30 giorni dal tuo primo acquisto per richiedere un rimborso. I server GPU non sono ancora venduti, quindi non è coinvolto alcun ordine GPU.
La capacità della GPU è limitata. Raccontaci il tuo carico di lavoro e ti risponderemo con disponibilità e prezzi.