Auto-hoste modelos de Llama da Meta em uma NVIDIA Tesla P40 (24 GB VRAM, arquitetura Pascal). Suite-se a modelos 8B com precisão total e modelos maiores quando quantizados. Os servidores GPU ainda não são ordenáveis; entre em contato conosco para ser notificado quando eles estão.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Exemplo de comando de instalação
A Llama é a família de modelos de idiomas grandes disponíveis abertamente. Executar a Llama em seu próprio servidor GPU mantém as prompts e dados privados.
Execute modelos 8B em 24 GB de VRAM. Os modelos 70B não se encaixam em um cartão único de 24 GB em níveis de quantização comuns.
Seus pedidos e dados permanecem em seu servidor, sem chamadas API de terceiros.
Utilizar GGUF com lama.cpp ou Ollama, ou pesos nativos de PyTorch.
Servir modelos com Ollama ou o servidor lama.cpp para um endpoint compatível com o OpenAI.
LLaMA pode usar uma GPU NVIDIA para acelerar seu trabalho. VPS.org servidores GPU ainda não estão disponíveis para encomendar; entre em contato conosco para ouvir quando eles são. LLaMA é uma carga de trabalho acelerada GPU geral. Verifique que seu software tem suporte CUDA e que as versões do seu driver / runtime correspondem aos requisitos de carga de trabalho para LLaMA.
Os servidores GPU ainda não estão disponíveis para encomendar. Hoje você pode executar LLaMA em um plano de CPU regular, onde funciona muito mais lentamente do que em uma GPU: SSH e executar curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
As necessidades de VRAM para LLaMA dependem do tamanho do modelo e lote; verifique a documentação do projeto para os números atuais.
O preço da GPU será publicado quando os servidores da GPU podem ser encomendados. Contacte-nos se quiser ouvir quando isso acontecer.
Sim. Cada servidor VPS.org vem com acesso completo à raiz, para que você possa executar outras ferramentas ao lado do LLaMA dentro da RAM e armazenamento do servidor.
Todos os servidores VPS.org vem com acesso SSH completo root, para que você possa instalar drivers, bibliotecas e LLaMA, como você precisa.
Não. Nenhum servidor vem com um tempo de execução CUDA ou driver NVIDIA pré-instalado, e servidores GPU ainda não estão disponíveis para encomendar. Você instala as versões LLaMA precisa de si mesmo.
Sim. os servidores VPS.org são máquinas virtuais persistentes, não instâncias efemerais: modelos LLaMA, configurações e dados permanecer no armazenamento SSD do servidor até que você os exclua.
Continue trabalhando dados sobre o SSD do servidor para acesso rápido durante as correções LLaMA e copie artefatos acabados (pesos, gerações, encaixamentos) para armazenamento fora do VPS.org; instantâneos e backups permanecem no mesmo cluster de armazenamento.
Você pode atualizar qualquer servidor VPS.org para um plano maior do painel de controle; a redimensionamento reinicia-o e sua instalação LLaMA carrega sobre. Os servidores GPU ainda não estão disponíveis.
Sim. Os backups são um add-on pago (diaria +30% do preço do plano, mantidos 7 dias; semanalmente +20%, mantidos 28 dias) e instantâneos são gratuitos, o que é útil antes de longos LLaMA funciona. Ambos permanecem no mesmo cluster de armazenamento do servidor.
Apoio de contato no prazo de 30 dias a contar da sua primeira compra para solicitar um reembolso. Os servidores GPU ainda não estão vendidos, por isso não está envolvida nenhuma ordem GPU.
A capacidade da GPU é limitada. Fale-nos sobre sua carga de trabalho e nós responderemos com disponibilidade e preços.