Modelos de Llama de Meta en una NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture). Modelos adecuados a 8B con precisión completa y modelos más grandes cuando se cuantifican. Los servidores GPU no son todavía disponibles; contáctenos para ser notificados cuando lo sean.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Ejemplo de comando de instalación
Llama es la familia de Meta de modelos de lenguajes grandes abiertamente disponibles. Ejecutar Llama en su propio servidor GPU mantiene las indicaciones y los datos privados.
Ejecuta modelos 8B en 24 GB de VRAM. Los modelos 70B no caben en una sola tarjeta de 24 GB a niveles de cuantificación comunes.
Sus peticiones y datos permanecen en su servidor, sin llamadas de terceros a la API.
Use GGUF con llama.cpp u Ollama, o pesos nativos de PyTorch.
Sirva modelos con Ollama o el servidor llama.cpp para un punto final compatible con OpenAI.
LLaMA puede utilizar una GPU NVIDIA para acelerar su trabajo. Los servidores de GPU VPS.org no están disponibles para su pedido todavía; contáctenos para escuchar cuando lo están. LLaMA es una carga de trabajo general acelerada por GPU. Asegúrese de que su software tiene soporte CUDA y que sus versiones de tiempo de ejecución/conductor coinciden con los requisitos de carga de trabajo para LLaMA.
Los servidores GPU no están disponibles para ordenar todavía. Hoy en día puede ejecutar LLaMA en un plan de CPU regular, donde funciona mucho más lentamente que en una GPU: SSH en y ejecutar curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Las necesidades de la VRAM para LLaMA dependen del modelo y tamaño del lote; compruebe la documentación del proyecto para ver las cifras actuales.
Los precios de GPU se publicarán cuando se puedan pedir servidores GPU. Póngase en contacto con nosotros si desea saber cuándo sucede.
Sí. Cada servidor VPS.org viene con acceso root completo, por lo que puede ejecutar otras herramientas junto con LLaMA dentro de la RAM y el almacenamiento del servidor.
Cada servidor VPS.org viene con acceso raíz completo SSH, por lo que puede instalar controladores, bibliotecas y LLaMA como usted necesite.
No. Ningún servidor viene con un tiempo de ejecución CUDA o controlador NVIDIA preinstalado, y los servidores GPU no están disponibles para ordenar todavía. Instala las versiones que LLaMA necesita.
Sí. los servidores VPS.org son máquinas virtuales persistentes, no instancias efímeras: modelos LLaMA, configuraciones y datos permanecen en el almacenamiento SSD del servidor hasta que los elimine.
Mantenga los datos de trabajo en el SSD del servidor para un acceso rápido durante las ejecuciones de LLaMA, y copie artefactos terminados (pesos, generaciones, incrustados) para almacenar fuera de VPS.org; las instantáneas y copias de seguridad permanecen en el mismo clúster de almacenamiento.
Puede actualizar cualquier servidor VPS.org a un plan más grande desde el panel de control; el redimensionamiento lo reinicia y su instalación LLaMA se lleva encima. Los servidores GPU no están disponibles todavía.
Sí. Las copias de seguridad son un complemento pagado (diariamente +30% del precio del plan, mantenido 7 días; semanal +20%, mantenido 28 días) y las instantáneas son gratuitas, lo que es útil antes de que se ejecute LLaMA. Ambos permanecen en el mismo clúster de almacenamiento que el servidor.
Póngase en contacto con el soporte técnico dentro de los 30 días de su primera compra para solicitar un reembolso. Los servidores GPU no se venden todavía, por lo que no hay ningún pedido GPU está involucrado.
La capacidad de GPU es limitada. Cuéntanos sobre su carga de trabajo y responderemos con disponibilidad y precios.