Servire i modelli AI da una NVIDIA Tesla P40 (24 GB VRAM, architettura Pascal): LLM, modelli di immagini e altre previsioni. I server GPU non sono ancora ordinabili; contattaci per essere avvisati quando lo sono.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Esempio di comando di installazione
Inferenza AI significa eseguire modelli addestrati per produrre previsioni. Un server di inferenza GPU mantiene un modello caricato sulla GPU e le richieste di risposte molto più velocemente di una CPU.
La GPU viene trasmessa al server da sola, quindi la latenza non è influenzata dai lavori della GPU degli altri clienti.
Usa Ollama, lama.cpp, Triton o la tua API. Alcuni framework, come vLLM, hanno bisogno di GPU più recenti rispetto al Pascal P40.
Eseguire diversi server dietro il proprio bilanciatore di carico se una GPU non è sufficiente.
Servire un modello di medie dimensioni o diversi modelli più piccoli.
AI Inference può usare una GPU NVIDIA per velocizzare il suo lavoro. i server GPU VPS.org non sono ancora disponibili per l'ordine; contattaci per sentire quando lo sono. AI Inference è un carico di lavoro generalmente accelerato dalla GPU. Assicurati che il tuo software abbia il supporto CUDA e che le versioni driver/runtime corrispondano ai requisiti di carico di lavoro per AI Inference.
I server GPU non sono ancora disponibili per l'ordine. Oggi è possibile eseguire AI Inference su un piano normale della CPU, dove funziona molto più lentamente che su una GPU: SSH dentro e eseguire pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
Le esigenze di VRAM per AI Inference dipendono dal modello e dalle dimensioni del lotto; controllare la documentazione del progetto per le cifre attuali.
I prezzi GPU saranno pubblicati quando i server GPU possono essere ordinati. Contattaci se vuoi sentire quando ciò accade.
Sì. Ogni server VPS.org è dotato di accesso root completo, in modo da poter eseguire altri strumenti insieme a AI Inference all'interno della RAM e dello storage del server.
Ogni server VPS.org è dotato di accesso SSH completo, in modo da poter installare driver, librerie e AI Inference comunque ti servano.
No. Nessun server viene fornito con un runtime CUDA o driver NVIDIA preinstallato, e i server GPU non sono ancora disponibili per l'ordine. Si installano le versioni AI Inference ha bisogno di te.
Sì. i server VPS.org sono macchine virtuali persistenti, non istanze effimere: modelli AI Inference, config e dati rimangono sullo storage SSD del server fino a quando non li cancelli.
Continuare a lavorare i dati sull'SSD del server per un accesso veloce durante le corse di AI Inference e copiare manufatti finiti (pesi, generazioni, inserzioni) per lo storage fuori da VPS.org; le istantanee e i backup rimangono sullo stesso cluster di storage.
È possibile aggiornare qualsiasi server VPS.org a un piano più grande dal pannello di controllo; il ridimensionamento lo riavvia e l'installazione AI Inference porta a termine. I server GPU non sono ancora disponibili.
Sì. I backup sono un add-on a pagamento (al giorno +30% del prezzo del piano, mantenuto 7 giorni; settimanale +20%, mantenuto 28 giorni) e le istantanee sono gratuite, che è utile prima di lunghe corse AI Inference. Entrambi rimangono sullo stesso cluster di archiviazione del server.
Contatta il supporto entro 30 giorni dal tuo primo acquisto per richiedere un rimborso. I server GPU non sono ancora venduti, quindi non è coinvolto alcun ordine GPU.
La capacità della GPU è limitata. Raccontaci il tuo carico di lavoro e ti risponderemo con disponibilità e prezzi.