Próximamente: NVIDIA Tesla P40, 24 GB VRAM

PyTorch GPU VPS

Entrena y ejecuta modelos PyTorch en una NVIDIA Tesla P40 (24 GB VRAM, arquitectura Pascal), con acceso root completo. Los servidores GPU no están disponibles todavía; póngase en contacto con nosotros para ser notificados cuando lo estén.

$ pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
# Ejemplo de comando de instalación

¿Qué es {nombre} en un VPS GPU?

PyTorch es un marco de aprendizaje profundo ampliamente utilizado. Un servidor de GPU ejecuta entrenamiento de PyTorch e inferencia en la GPU, que es mucho más rápido que en una CPU para la mayoría de los modelos.

PyTorch en un servidor de GPU VPS.org

Instale su pila CUDA

Instala el controlador NVIDIA, CUDA y la construcción PyTorch que necesita. Compruebe que su construcción PyTorch todavía soporta GPUs Pascal (capacidad de computación 6.1).

24 GB de RVA

Habitación para modelos pequeños y medianos, ajuste fino LoRA y tamaños de lotes moderados.

Jupyter

Ejecute los portátiles Jupyter en el servidor para el trabajo interactivo en la GPU.

Acceso total a la raíz

Configure el entorno exactamente como su proyecto necesita.

Casos de uso {nombre} populares

Formación en red neural
Modelos de visión computarizada
Modelos de transformadores y NLP
Investigación de IA generadora
Afinación del modelo
Inferencia de producción

Especificaciones de la GPU planificadas

GPUNVIDIA Tesla P40
VRAM24 GB GDDR5
Núcleos CUDA3,840
FP3212 TFLOPS
INT847 TOPS
Memoria BW346 GB/s
ArquitecturaPascal (GP102)
Paso a pasoPasaje de PCIe

Preguntas frecuentes

¿Qué es PyTorch en un VPS GPU?

+

PyTorch puede utilizar una GPU NVIDIA para acelerar su trabajo. Los servidores de GPU VPS.org no están disponibles para ordenar todavía; contáctenos para escuchar cuando lo están. PyTorch es una carga de trabajo de entrenamiento / ajuste. Planifique para trabajos de larga duración: haga una instantánea de su VPS regularmente y mantenga una copia de pesos entrenados fuera de VPS.org.

¿Cómo puedo configurar PyTorch en un VPS GPU?

+

Los servidores GPU no están disponibles para ordenar todavía. Hoy en día puede ejecutar PyTorch en un plan de CPU regular, donde funciona mucho más lentamente que en una GPU: SSH en y ejecutar pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124.

¿Cuánto VRAM necesito para PyTorch?

+

El entrenamiento VRAM está dominado por el estado optimizador más activaciones. El ajuste completo de un LLM 7B necesita aproximadamente de 24 a 48 GB; LoRA / QLoRA encaja en 8 a 16 GB.

¿Cuánto costaría un servidor GPU por PyTorch?

+

Los precios de GPU se publicarán cuando se puedan pedir servidores GPU. Póngase en contacto con nosotros si desea saber cuándo sucede.

¿Puedo ejecutar otras herramientas junto con PyTorch?

+

Sí. Cada servidor VPS.org viene con acceso root completo, por lo que puede ejecutar otras herramientas junto con PyTorch dentro de la RAM y el almacenamiento del servidor.

¿Consigo la raíz completa en el PyTorch GPU VPS?

+

Cada servidor VPS.org viene con acceso raíz completo SSH, por lo que puede instalar controladores, bibliotecas y PyTorch como usted necesite.

¿VPS.org preinstala CUDA para PyTorch?

+

No. Ningún servidor viene con un tiempo de ejecución CUDA o controlador NVIDIA preinstalado, y los servidores GPU no están disponibles para ordenar todavía. Instala las versiones que PyTorch necesita.

¿Persiste mi VPS PyTorch GPU entre sesiones?

+

Sí. los servidores VPS.org son máquinas virtuales persistentes, no instancias efímeras: modelos PyTorch, configuraciones y datos permanecen en el almacenamiento SSD del servidor hasta que los elimine.

¿Dónde debo almacenar los datos para mi carga de trabajo PyTorch?

+

Mantenga los datos de trabajo en el SSD del servidor para un acceso rápido durante las ejecuciones de PyTorch, y copie artefactos terminados (pesos, generaciones, incrustados) para almacenar fuera de VPS.org; las instantáneas y copias de seguridad permanecen en el mismo clúster de almacenamiento.

¿Puedo escalar mi VPS PyTorch GPU más tarde?

+

Puede actualizar cualquier servidor VPS.org a un plan más grande desde el panel de control; el redimensionamiento lo reinicia y su instalación PyTorch se lleva encima. Los servidores GPU no están disponibles todavía.

¿Hay copias de seguridad disponibles para mi GPU VPS?

+

Sí. Las copias de seguridad son un complemento pagado (diariamente +30% del precio del plan, mantenido 7 días; semanal +20%, mantenido 28 días) y las instantáneas son gratuitas, lo que es útil antes de que se ejecute PyTorch. Ambos permanecen en el mismo clúster de almacenamiento que el servidor.

¿Me puedes devolver un reembolso?

+

Póngase en contacto con el soporte técnico dentro de los 30 días de su primera compra para solicitar un reembolso. Los servidores GPU no se venden todavía, por lo que no hay ningún pedido GPU está involucrado.

¿Quieres ejecutar PyTorch en un servidor GPU?

La capacidad de GPU es limitada. Cuéntanos sobre su carga de trabajo y responderemos con disponibilidad y precios.