Estamos a preparar servidores GPU com uma NVIDIA Tesla P40 (24 GB VRAM, arquitetura Pascal) para executar LLMs de código aberto, como Llama, Mistral e Gemma com Ollama. Os servidores GPU ainda não são ordenáveis; entre em contato conosco para ser notificado quando estiverem.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Exemplo de comando de instalação
Ollama é uma ferramenta leve para executar modelos de linguagem grandes em sua própria máquina. Em um servidor GPU o modelo é executado na GPU em vez da CPU, o que torna as respostas muito mais rápidas.
Pull Llama, Mistral, Gemma, Phi, Qwen e muitos outros modelos com um comando.
Se adapta aos modelos 7B a 13B confortavelmentem torno dos modelos 30B quando quantizados. Os modelos 70B não se encaixam em um cartão de 24 GB em níveis de quantização comuns.
Prompts e dados permanecem no seu servidor, sem chamadas API de terceiros.
Ollama expõe um endpoint compatível com o OpenAI que muitos clientes existentes podem usar.
Ollama pode usar um GPU NVIDIA para acelerar seu trabalho. VPS.org servidores GPU ainda não estão disponíveis para encomendar; contacte-nos para ouvir quando eles são. Ollama é principalmente uma carga de trabalho LLM-inferência / chat. Você vai querer rápido acessamento aleatório lê de disco para memória e suficiente VRAM para a janela de contexto do modelo mais.
Os servidores GPU ainda não estão disponíveis para encomendar. Hoje você pode executar Ollama em um plano de CPU regular, onde funciona muito mais lentamente do que em uma GPU: SSH e executar curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Escalas de inferência VRAM LLM com parâmetros de modelo: um modelo 7B necessita de aproximadamente 5 a 8 GB de VRAM e um modelo 13B de aproximadamente 10 a 14 GB, enquanto modelos de 70B necessitam de várias UBS ou de quantização pesada.
O preço da GPU será publicado quando os servidores da GPU podem ser encomendados. Contacte-nos se quiser ouvir quando isso acontecer.
Sim. Cada servidor VPS.org vem com acesso completo à raiz, para que você possa executar outras ferramentas ao lado do Ollama dentro da RAM e armazenamento do servidor.
Todos os servidores VPS.org vem com acesso SSH completo root, para que você possa instalar drivers, bibliotecas e Ollama, como você precisa.
Não. Nenhum servidor vem com um tempo de execução CUDA ou driver NVIDIA pré-instalado, e servidores GPU ainda não estão disponíveis para encomendar. Você instala as versões Ollama precisa de si mesmo.
Sim. os servidores VPS.org são máquinas virtuais persistentes, não instâncias efemerais: modelos Ollama, configurações e dados permanecer no armazenamento SSD do servidor até que você os exclua.
Continue trabalhando dados sobre o SSD do servidor para acesso rápido durante as correções Ollama e copie artefatos acabados (pesos, gerações, encaixamentos) para armazenamento fora do VPS.org; instantâneos e backups permanecem no mesmo cluster de armazenamento.
Você pode atualizar qualquer servidor VPS.org para um plano maior do painel de controle; a redimensionamento reinicia-o e sua instalação Ollama carrega sobre. Os servidores GPU ainda não estão disponíveis.
Sim. Os backups são um add-on pago (diaria +30% do preço do plano, mantidos 7 dias; semanalmente +20%, mantidos 28 dias) e instantâneos são gratuitos, o que é útil antes de longos Ollama funciona. Ambos permanecem no mesmo cluster de armazenamento do servidor.
Apoio de contato no prazo de 30 dias a contar da sua primeira compra para solicitar um reembolso. Os servidores GPU ainda não estão vendidos, por isso não está envolvida nenhuma ordem GPU.
A capacidade da GPU é limitada. Fale-nos sobre sua carga de trabalho e nós responderemos com disponibilidade e preços.