Stiamo preparando server GPU con un NVIDIA Tesla P40 (24 GB VRAM, architettura Pascal) per eseguire LLM open-source come Llama, Mistral e Gemma con Ollama. I server GPU non sono ancora ordinabili; contattaci per essere avvisati quando lo sono.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Esempio di comando di installazione
Ollama è uno strumento leggero per l'esecuzione di grandi modelli di lingua sulla propria macchina. Su un server GPU il modello viene eseguito sulla GPU invece della CPU, che rende le risposte molto più veloce.
Tirare Llama, Mistral, Gemma, Phi, Qwen e molti altri modelli con un comando.
Adatto ai modelli da 7B a 13B comodamente e intorno ai modelli da 30B quando quantizzati. I modelli da 70B non si adattano a una scheda da 24 GB a livelli di quantizzazione comuni.
Avverte e i dati rimangono sul server, senza chiamate API di terze parti.
Ollama espone un endpoint compatibile con OpenAI che molti client esistenti possono utilizzare.
Ollama può usare una GPU NVIDIA per velocizzare il suo lavoro. i server GPU VPS.org non sono ancora disponibili per l'ordine; contattaci per sentire quando lo sono. Ollama è principalmente un carico di lavoro LLM-inferenza / chat. Si desidera leggere velocemente letture casuali dal disco alla memoria e abbastanza VRAM per la finestra del modello più contesto.
I server GPU non sono ancora disponibili per l'ordine. Oggi è possibile eseguire Ollama su un piano normale della CPU, dove funziona molto più lentamente che su una GPU: SSH dentro e eseguire curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM inference VRAM scale con parametri di modello: un modello 7B richiede circa 5-8 GB di VRAM e un modello 13B circa 10-14 GB, mentre i modelli 70B-classe richiedono diverse GPU o una pesante quantizzazione.
I prezzi GPU saranno pubblicati quando i server GPU possono essere ordinati. Contattaci se vuoi sentire quando ciò accade.
Sì. Ogni server VPS.org è dotato di accesso root completo, in modo da poter eseguire altri strumenti insieme a Ollama all'interno della RAM e dello storage del server.
Ogni server VPS.org è dotato di accesso SSH completo, in modo da poter installare driver, librerie e Ollama comunque ti servano.
No. Nessun server viene fornito con un runtime CUDA o driver NVIDIA preinstallato, e i server GPU non sono ancora disponibili per l'ordine. Si installano le versioni Ollama ha bisogno di te.
Sì. i server VPS.org sono macchine virtuali persistenti, non istanze effimere: modelli Ollama, config e dati rimangono sullo storage SSD del server fino a quando non li cancelli.
Continuare a lavorare i dati sull'SSD del server per un accesso veloce durante le corse di Ollama e copiare manufatti finiti (pesi, generazioni, inserzioni) per lo storage fuori da VPS.org; le istantanee e i backup rimangono sullo stesso cluster di storage.
È possibile aggiornare qualsiasi server VPS.org a un piano più grande dal pannello di controllo; il ridimensionamento lo riavvia e l'installazione Ollama porta a termine. I server GPU non sono ancora disponibili.
Sì. I backup sono un add-on a pagamento (al giorno +30% del prezzo del piano, mantenuto 7 giorni; settimanale +20%, mantenuto 28 giorni) e le istantanee sono gratuite, che è utile prima di lunghe corse Ollama. Entrambi rimangono sullo stesso cluster di archiviazione del server.
Contatta il supporto entro 30 giorni dal tuo primo acquisto per richiedere un rimborso. I server GPU non sono ancora venduti, quindi non è coinvolto alcun ordine GPU.
La capacità della GPU è limitata. Raccontaci il tuo carico di lavoro e ti risponderemo con disponibilità e prezzi.