Em breve: NVIDIA Tesla P40, 24 GB VRAM

PyTorch GPU VPS

Trein e execute modelos PyTorch em uma NVIDIA Tesla P40 (24 GB VRAM, arquitetura Pascal), com acesso completo à raiz. Os servidores GPU ainda não são ordenáveis; entre em contato conosco para ser notificado quando estiverem.

$ pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
# Exemplo de comando de instalação

O que é {nome} em um GPU VPS?

PyTorch é um framework de aprendizagem profunda amplamente utilizado. Um servidor GPU executa treinamento e inferência PyTorch na GPU, que é muito mais rápido do que em uma CPU para a maioria dos modelos.

PyTorch num servidor de GPU VPS.org

Instale a sua pilha CUDA

Você instalar o driver NVIDIA, CUDA e a construção PyTorch que você precisa. Verifique que a sua construção PyTorch ainda suporta Pascal GPUs (capacidade computacional 6.1).

24 GB VRAM

Quarto para pequenos e médios modelos, LoRA de ajuste fino e tamanhos moderados de lote.

Jupyter

Executar cadernos Jupyter no servidor para trabalho interativo na GPU.

Acesso completo à raiz

Configure o ambiente exatamente conforme o seu projeto precisa.

Processos de uso populares {nome}

Formação em rede neural
Modelos de visão computacional
Modelos NLP & transformador
Investigação geradora de IA
Modelo de ajuste fino
Inferência de produção

Especificações do GPU previstas

GPUNVIDIA Tesla P40
VRAM24 GB GDDR5
Núcleos CUDA3,840
FP3212 TFLOPS
INT847 TOPS
Memória BW346 GB/s
ArquiteturaPascal (GP102)
PassagemPCIe passa-passagem

Perguntas Frequentes

O que é PyTorch em um VPS GPU?

+

PyTorch pode usar uma NVIDIA GPU para acelerar seu trabalho. VPS.org servidores GPU ainda não estão disponíveis para encomendar; contate-nos para ouvir quando eles são. PyTorch é uma carga de trabalho treinador / ajuste fino. Planeie para trabalhos de longa duração: instantâneo seu VPS regularmente e mantenha uma cópia de pesos treinados fora de VPS.org.

Como é que eu configuro PyTorch em um GPU VPS?

+

Os servidores GPU ainda não estão disponíveis para encomendar. Hoje você pode executar PyTorch em um plano de CPU regular, onde funciona muito mais lentamente do que em uma GPU: SSH e executar pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124.

Quanto preciso de VRAM para PyTorch?

+

Treinamento VRAM é dominado pelo estado otimizador mais ativações. Full-tuning de um LLM 7B necessita de aproximadamente 24 a 48 GB; LoRA / QLoRA se encaixa em 8 a 16 GB.

Quanto custaria um servidor GPU para PyTorch?

+

O preço da GPU será publicado quando os servidores da GPU podem ser encomendados. Contacte-nos se quiser ouvir quando isso acontecer.

Posso executar outras ferramentas ao lado de PyTorch?

+

Sim. Cada servidor VPS.org vem com acesso completo à raiz, para que você possa executar outras ferramentas ao lado do PyTorch dentro da RAM e armazenamento do servidor.

Tenho toda a raiz no VPS de PyTorch GPU?

+

Todos os servidores VPS.org vem com acesso SSH completo root, para que você possa instalar drivers, bibliotecas e PyTorch, como você precisa.

VPS.org preinstalar CUDA para PyTorch?

+

Não. Nenhum servidor vem com um tempo de execução CUDA ou driver NVIDIA pré-instalado, e servidores GPU ainda não estão disponíveis para encomendar. Você instala as versões PyTorch precisa de si mesmo.

O meu PyTorch GPU VPS persiste entre sessões?

+

Sim. os servidores VPS.org são máquinas virtuais persistentes, não instâncias efemerais: modelos PyTorch, configurações e dados permanecer no armazenamento SSD do servidor até que você os exclua.

Onde devo armazenar dados para a minha carga de trabalho PyTorch?

+

Continue trabalhando dados sobre o SSD do servidor para acesso rápido durante as correções PyTorch e copie artefatos acabados (pesos, gerações, encaixamentos) para armazenamento fora do VPS.org; instantâneos e backups permanecem no mesmo cluster de armazenamento.

Posso escalar o meu PyTorch GPU VPS mais tarde?

+

Você pode atualizar qualquer servidor VPS.org para um plano maior do painel de controle; a redimensionamento reinicia-o e sua instalação PyTorch carrega sobre. Os servidores GPU ainda não estão disponíveis.

Os backups estão disponíveis para o meu GPU VPS?

+

Sim. Os backups são um add-on pago (diaria +30% do preço do plano, mantidos 7 dias; semanalmente +20%, mantidos 28 dias) e instantâneos são gratuitos, o que é útil antes de longos PyTorch funciona. Ambos permanecem no mesmo cluster de armazenamento do servidor.

Posso obter um reembolso?

+

Apoio de contato no prazo de 30 dias a contar da sua primeira compra para solicitar um reembolso. Os servidores GPU ainda não estão vendidos, por isso não está envolvida nenhuma ordem GPU.

Quer executar PyTorch em um servidor GPU?

A capacidade da GPU é limitada. Fale-nos sobre sua carga de trabalho e nós responderemos com disponibilidade e preços.