Servir modelos de IA de um NVIDIA Tesla P40 (24 GB VRAM, arquitetura Pascal): LLMs, modelos de imagem e outras predições. Os servidores GPU ainda não são ordenáveis; contate-nos para sermos notificados quando eles estão.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Exemplo de comando de instalação
Inferência de IA significa executar modelos treinados para produzir predições. Um servidor de inferência GPU mantém um modelo carregado na GPU e responde pedidos muito mais rápidos do que um CPU.
A GPU é passada para o seu servidor sozinho, então a latência não é afetada por outros trabalhos GPU dos clientes.
Use Ollama, lama.cpp, Triton ou sua própria API. Alguns frameworks, como vLLM, precisam de GPU mais recentes do que o Pascal P40.
Executar vários servidores por trás do seu próprio balanceador de carga se uma GPU não for suficiente.
Servir um modelo de tamanho médio ou vários pequenos.
AI Inference pode usar uma GPU NVIDIA para acelerar seu trabalho. VPS.org servidores GPU ainda não estão disponíveis para encomendar; entre em contato conosco para ouvir quando eles são. AI Inference é uma carga de trabalho acelerada GPU geral. Verifique que seu software tem suporte CUDA e que as versões do seu driver / runtime correspondem aos requisitos de carga de trabalho para AI Inference.
Os servidores GPU ainda não estão disponíveis para encomendar. Hoje você pode executar AI Inference em um plano de CPU regular, onde funciona muito mais lentamente do que em uma GPU: SSH e executar pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
As necessidades de VRAM para AI Inference dependem do tamanho do modelo e lote; verifique a documentação do projeto para os números atuais.
O preço da GPU será publicado quando os servidores da GPU podem ser encomendados. Contacte-nos se quiser ouvir quando isso acontecer.
Sim. Cada servidor VPS.org vem com acesso completo à raiz, para que você possa executar outras ferramentas ao lado do AI Inference dentro da RAM e armazenamento do servidor.
Todos os servidores VPS.org vem com acesso SSH completo root, para que você possa instalar drivers, bibliotecas e AI Inference, como você precisa.
Não. Nenhum servidor vem com um tempo de execução CUDA ou driver NVIDIA pré-instalado, e servidores GPU ainda não estão disponíveis para encomendar. Você instala as versões AI Inference precisa de si mesmo.
Sim. os servidores VPS.org são máquinas virtuais persistentes, não instâncias efemerais: modelos AI Inference, configurações e dados permanecer no armazenamento SSD do servidor até que você os exclua.
Continue trabalhando dados sobre o SSD do servidor para acesso rápido durante as correções AI Inference e copie artefatos acabados (pesos, gerações, encaixamentos) para armazenamento fora do VPS.org; instantâneos e backups permanecem no mesmo cluster de armazenamento.
Você pode atualizar qualquer servidor VPS.org para um plano maior do painel de controle; a redimensionamento reinicia-o e sua instalação AI Inference carrega sobre. Os servidores GPU ainda não estão disponíveis.
Sim. Os backups são um add-on pago (diaria +30% do preço do plano, mantidos 7 dias; semanalmente +20%, mantidos 28 dias) e instantâneos são gratuitos, o que é útil antes de longos AI Inference funciona. Ambos permanecem no mesmo cluster de armazenamento do servidor.
Apoio de contato no prazo de 30 dias a contar da sua primeira compra para solicitar um reembolso. Os servidores GPU ainda não estão vendidos, por isso não está envolvida nenhuma ordem GPU.
A capacidade da GPU é limitada. Fale-nos sobre sua carga de trabalho e nós responderemos com disponibilidade e preços.