Servez des modèles AI à partir d'une NVIDIA Tesla P40 (24 GB VRAM, architecture Pascal): LLMs, modèles d'images et autres prédictions. Les serveurs GPU ne sont pas encore disponibles; contactez-nous pour être avertis quand ils le sont.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Exemple de commande d'installation
L'inférence AI signifie l'exécution de modèles formés pour produire des prédictions. Un serveur d'inférence GPU maintient un modèle chargé sur le GPU et répond aux demandes beaucoup plus rapidement qu'un CPU.
Le GPU est passé à votre serveur seul, donc la latence n'est pas affectée par les emplois GPU d'autres clients.
Utilisez Ollama, lama.cpp, Triton ou votre propre API. Certains cadres, comme vLLM, ont besoin de GPU plus récents que le Pascal P40.
Exécutez plusieurs serveurs derrière votre propre balanceur de charge si un GPU n'est pas suffisant.
Servir un modèle de taille moyenne ou plusieurs modèles plus petits.
AI Inference peut utiliser un GPU NVIDIA pour accélérer son travail. Les serveurs GPU VPS.org ne sont pas encore disponibles pour commander; contactez-nous pour savoir quand ils sont. AI Inference est une charge de travail générale accélérée GPU. Assurez-vous que votre logiciel a le support CUDA et que vos versions pilote/exécution correspondent aux exigences de charge de travail pour AI Inference.
Les serveurs GPU ne sont pas encore disponibles pour commander. Aujourd'hui, vous pouvez exécuter AI Inference sur un plan CPU régulier, où il fonctionne beaucoup plus lentement que sur un GPU: SSH et exécuter pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
Les besoins en VRAM pour AI Inference dépendent du modèle et de la taille des lots; vérifiez la documentation du projet pour les chiffres actuels.
Les prix GPU seront publiés lorsque les serveurs GPU pourront être commandés. Contactez-nous si vous voulez savoir quand cela se produit.
Oui. Chaque serveur VPS.org est livré avec un accès root complet, vous pouvez donc exécuter d'autres outils à côté de AI Inference dans la mémoire vive et le stockage du serveur.
Chaque serveur VPS.org est livré avec un accès SSH racine complète, de sorte que vous pouvez installer les pilotes, les bibliothèques et AI Inference comme vous le souhaitez.
Non. Aucun serveur n'est livré avec un pilote d'exécution CUDA ou NVIDIA préinstallé, et les serveurs GPU ne sont pas encore disponibles pour commander. Vous installez les versions AI Inference vous-même.
Oui. Les serveurs VPS.org sont des machines virtuelles persistantes, pas des instances éphémères : les modèles AI Inference, les configs et les données restent sur le stockage SSD du serveur jusqu'à ce que vous les supprimiez.
Continuez à travailler sur le SSD du serveur pour un accès rapide pendant les exécutions de AI Inference, et copiez les artefacts finis (poids, générations, embarquations) au stockage extérieur de VPS.org ; les instantanés et sauvegardes restent sur le même groupe de stockage.
Vous pouvez mettre à niveau n'importe quel serveur VPS.org vers un plan plus grand depuis le panneau de contrôle ; la redimensionnement le redémarre et votre installation AI Inference se déplace. Les serveurs GPU ne sont pas encore disponibles.
Oui. Les sauvegardes sont un add-on payant (par jour +30% du prix du forfait, gardé 7 jours; hebdomadaire +20%, gardé 28 jours) et les instantanés sont gratuits, ce qui est utile avant de longues AI Inference. Les deux restent sur le même groupe de stockage que le serveur.
Assistance de contact dans les 30 jours suivant votre premier achat pour demander un remboursement. Les serveurs GPU ne sont pas encore vendus, donc aucune commande GPU n'est en cause.
La capacité de GPU est limitée. Parlez-nous de votre charge de travail et nous répondrons avec disponibilité et prix.