Allena ed esegue i modelli PyTorch su NVIDIA Tesla P40 (24 GB di VRAM, architettura Pascal), con accesso root completo. I server GPU non sono ancora ordinabili; contattaci per essere avvisati quando lo sono.
$ pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
# Esempio di comando di installazione
PyTorch è un framework di apprendimento profondo ampiamente utilizzato. Un server GPU esegue PyTorch formazione e inferenza sulla GPU, che è molto più veloce che su una CPU per la maggior parte dei modelli.
Si installa il driver NVIDIA, CUDA e la generazione PyTorch di cui hai bisogno. Controlla che la tua generazione PyTorch supporti ancora le GPU Pascal (capacità di calcolo 6.1).
Spazio per modelli di piccole e medie dimensioni, fine-tuning LORA e dimensioni moderate dei lotti.
Eseguire notebook Jupyter sul server per il lavoro interattivo sulla GPU.
Configura l'ambiente esattamente come il tuo progetto ha bisogno.
PyTorch può usare una GPU NVIDIA per velocizzare il suo lavoro. I server GPU VPS.org non sono ancora disponibili per l'ordine; contattaci per sentire quando lo sono. PyTorch è un carico di lavoro di allenamento / fine-tuning. Pianifica lavori a lungo termine: istantanea il VPS regolarmente e mantenere una copia di pesi allenati fuori VPS.org.
I server GPU non sono ancora disponibili per l'ordine. Oggi è possibile eseguire PyTorch su un piano normale della CPU, dove funziona molto più lentamente che su una GPU: SSH dentro e eseguire pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124.
La VRAM di allenamento è dominata dallo stato ottimizzatore più le attivazioni. La messa a punto completa di un LLM 7B richiede approssimativamente 24 a 48 GB; LORA / QLORA si adatta in 8 a 16 GB.
I prezzi GPU saranno pubblicati quando i server GPU possono essere ordinati. Contattaci se vuoi sentire quando ciò accade.
Sì. Ogni server VPS.org è dotato di accesso root completo, in modo da poter eseguire altri strumenti insieme a PyTorch all'interno della RAM e dello storage del server.
Ogni server VPS.org è dotato di accesso SSH completo, in modo da poter installare driver, librerie e PyTorch comunque ti servano.
No. Nessun server viene fornito con un runtime CUDA o driver NVIDIA preinstallato, e i server GPU non sono ancora disponibili per l'ordine. Si installano le versioni PyTorch ha bisogno di te.
Sì. i server VPS.org sono macchine virtuali persistenti, non istanze effimere: modelli PyTorch, config e dati rimangono sullo storage SSD del server fino a quando non li cancelli.
Continuare a lavorare i dati sull'SSD del server per un accesso veloce durante le corse di PyTorch e copiare manufatti finiti (pesi, generazioni, inserzioni) per lo storage fuori da VPS.org; le istantanee e i backup rimangono sullo stesso cluster di storage.
È possibile aggiornare qualsiasi server VPS.org a un piano più grande dal pannello di controllo; il ridimensionamento lo riavvia e l'installazione PyTorch porta a termine. I server GPU non sono ancora disponibili.
Sì. I backup sono un add-on a pagamento (al giorno +30% del prezzo del piano, mantenuto 7 giorni; settimanale +20%, mantenuto 28 giorni) e le istantanee sono gratuite, che è utile prima di lunghe corse PyTorch. Entrambi rimangono sullo stesso cluster di archiviazione del server.
Contatta il supporto entro 30 giorni dal tuo primo acquisto per richiedere un rimborso. I server GPU non sono ancora venduti, quindi non è coinvolto alcun ordine GPU.
La capacità della GPU è limitata. Raccontaci il tuo carico di lavoro e ti risponderemo con disponibilità e prezzi.