Servir modelos de IA de una NVIDIA Tesla P40 (24 GB VRAM, Pascal arquitectura): LLMs, modelos de imagen y otras predicciones. Los servidores GPU no son todavía disponibles; póngase en contacto con nosotros para ser notificados cuando lo sean.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Ejemplo de comando de instalación
La inferencia de IA significa ejecutar modelos entrenados para producir predicciones. Un servidor de inferencia de GPU mantiene un modelo cargado en la GPU y las respuestas piden mucho más rápido que una CPU.
La GPU se transmite a través de su servidor solo, por lo que la latencia no se ve afectada por los trabajos de otros clientes de GPU.
Utilice Ollama, llama.cpp, Triton o su propia API. Algunos marcos, como vLLM, necesitan GPUs más nuevas que el Pascal P40.
Ejecute varios servidores detrás de su propio balanceador de carga si una GPU no es suficiente.
Servir un modelo mediano o varios más pequeños.
AI Inference puede utilizar una GPU NVIDIA para acelerar su trabajo. Los servidores de GPU VPS.org no están disponibles para su pedido todavía; contáctenos para escuchar cuando lo están. AI Inference es una carga de trabajo general acelerada por GPU. Asegúrese de que su software tiene soporte CUDA y que sus versiones de tiempo de ejecución/conductor coinciden con los requisitos de carga de trabajo para AI Inference.
Los servidores GPU no están disponibles para ordenar todavía. Hoy en día puede ejecutar AI Inference en un plan de CPU regular, donde funciona mucho más lentamente que en una GPU: SSH en y ejecutar pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
Las necesidades de la VRAM para AI Inference dependen del modelo y tamaño del lote; compruebe la documentación del proyecto para ver las cifras actuales.
Los precios de GPU se publicarán cuando se puedan pedir servidores GPU. Póngase en contacto con nosotros si desea saber cuándo sucede.
Sí. Cada servidor VPS.org viene con acceso root completo, por lo que puede ejecutar otras herramientas junto con AI Inference dentro de la RAM y el almacenamiento del servidor.
Cada servidor VPS.org viene con acceso raíz completo SSH, por lo que puede instalar controladores, bibliotecas y AI Inference como usted necesite.
No. Ningún servidor viene con un tiempo de ejecución CUDA o controlador NVIDIA preinstalado, y los servidores GPU no están disponibles para ordenar todavía. Instala las versiones que AI Inference necesita.
Sí. los servidores VPS.org son máquinas virtuales persistentes, no instancias efímeras: modelos AI Inference, configuraciones y datos permanecen en el almacenamiento SSD del servidor hasta que los elimine.
Mantenga los datos de trabajo en el SSD del servidor para un acceso rápido durante las ejecuciones de AI Inference, y copie artefactos terminados (pesos, generaciones, incrustados) para almacenar fuera de VPS.org; las instantáneas y copias de seguridad permanecen en el mismo clúster de almacenamiento.
Puede actualizar cualquier servidor VPS.org a un plan más grande desde el panel de control; el redimensionamiento lo reinicia y su instalación AI Inference se lleva encima. Los servidores GPU no están disponibles todavía.
Sí. Las copias de seguridad son un complemento pagado (diariamente +30% del precio del plan, mantenido 7 días; semanal +20%, mantenido 28 días) y las instantáneas son gratuitas, lo que es útil antes de que se ejecute AI Inference. Ambos permanecen en el mismo clúster de almacenamiento que el servidor.
Póngase en contacto con el soporte técnico dentro de los 30 días de su primera compra para solicitar un reembolso. Los servidores GPU no se venden todavía, por lo que no hay ningún pedido GPU está involucrado.
La capacidad de GPU es limitada. Cuéntanos sobre su carga de trabajo y responderemos con disponibilidad y precios.