Estamos preparando servidores GPU con NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) para ejecutar LLM de código abierto como Llama, Mistral y Gemma con Ollama. Los servidores GPU no están disponibles todavía; contáctenos para ser notificados cuando lo estén.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Ejemplo de comando de instalación
Ollama es una herramienta ligera para ejecutar modelos de lenguaje grandes en su propia máquina. En un servidor GPU el modelo se ejecuta en la GPU en lugar de la CPU, lo que hace que las respuestas sean mucho más rápidas.
Tire de Llama, Mistral, Gemma, Phi, Qwen y muchos otros modelos con un solo comando.
Los modelos 7B a 13B se adaptan cómodamente y alrededor de los modelos 30B cuando se cuantifican. Los modelos 70B no se ajustan a una tarjeta de 24 GB a niveles de cuantificación comunes.
Prompts y datos permanecen en su servidor, sin llamadas de terceros a la API.
Ollama expone un punto final compatible con OpenAI que muchos clientes existentes pueden utilizar.
Ollama puede utilizar una GPU NVIDIA para acelerar su trabajo. Los servidores de GPU VPS.org no están disponibles para ordenar todavía; contáctenos para escuchar cuando lo están. Ollama es principalmente una carga de trabajo de LLM-inferencia / chat. Usted querrá leer rápidamente el acceso aleatorio de disco a memoria y suficiente VRAM para el modelo más ventana de contexto.
Los servidores GPU no están disponibles para ordenar todavía. Hoy en día puede ejecutar Ollama en un plan de CPU regular, donde funciona mucho más lentamente que en una GPU: SSH en y ejecutar curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Inferencia LLM escalas VRAM con parámetros de modelo: un modelo 7B necesita aproximadamente 5 a 8 GB de VRAM y un modelo 13B aproximadamente 10 a 14 GB, mientras que los modelos de clase 70B necesitan varias GPU o cuantización pesada.
Los precios de GPU se publicarán cuando se puedan pedir servidores GPU. Póngase en contacto con nosotros si desea saber cuándo sucede.
Sí. Cada servidor VPS.org viene con acceso root completo, por lo que puede ejecutar otras herramientas junto con Ollama dentro de la RAM y el almacenamiento del servidor.
Cada servidor VPS.org viene con acceso raíz completo SSH, por lo que puede instalar controladores, bibliotecas y Ollama como usted necesite.
No. Ningún servidor viene con un tiempo de ejecución CUDA o controlador NVIDIA preinstalado, y los servidores GPU no están disponibles para ordenar todavía. Instala las versiones que Ollama necesita.
Sí. los servidores VPS.org son máquinas virtuales persistentes, no instancias efímeras: modelos Ollama, configuraciones y datos permanecen en el almacenamiento SSD del servidor hasta que los elimine.
Mantenga los datos de trabajo en el SSD del servidor para un acceso rápido durante las ejecuciones de Ollama, y copie artefactos terminados (pesos, generaciones, incrustados) para almacenar fuera de VPS.org; las instantáneas y copias de seguridad permanecen en el mismo clúster de almacenamiento.
Puede actualizar cualquier servidor VPS.org a un plan más grande desde el panel de control; el redimensionamiento lo reinicia y su instalación Ollama se lleva encima. Los servidores GPU no están disponibles todavía.
Sí. Las copias de seguridad son un complemento pagado (diariamente +30% del precio del plan, mantenido 7 días; semanal +20%, mantenido 28 días) y las instantáneas son gratuitas, lo que es útil antes de que se ejecute Ollama. Ambos permanecen en el mismo clúster de almacenamiento que el servidor.
Póngase en contacto con el soporte técnico dentro de los 30 días de su primera compra para solicitar un reembolso. Los servidores GPU no se venden todavía, por lo que no hay ningún pedido GPU está involucrado.
La capacidad de GPU es limitada. Cuéntanos sobre su carga de trabajo y responderemos con disponibilidad y precios.