Modèles Llama auto-porteurs sur NVIDIA Tesla P40 (24 GB VRAM, architecture Pascal). Suite aux modèles 8B à la précision complète et aux modèles plus grands quand ils sont quantifiés. Les serveurs GPU ne sont pas encore disponibles; contactez-nous pour être avertis quand ils sont.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Exemple de commande d'installation
Lama est la famille de Meta de modèles de grande langue ouvertement disponibles. Exécuter Lama sur votre propre serveur GPU maintient les invites et les données privées.
Exécute des modèles 8B sur 24 Go de VRAM. Les modèles 70B ne sont pas adaptés sur une carte de 24 Go unique aux niveaux de quantification communs.
Vos invites et données restent sur votre serveur, sans appels API tiers.
Utilisez GGUF avec lama.cpp ou Ollama, ou les poids de PyTorch natifs.
Servez des modèles avec Ollama ou le serveur lama.cpp pour un point d'arrêt compatible OpenAI.
LLaMA peut utiliser un GPU NVIDIA pour accélérer son travail. Les serveurs GPU VPS.org ne sont pas encore disponibles pour commander; contactez-nous pour savoir quand ils sont. LLaMA est une charge de travail générale accélérée GPU. Assurez-vous que votre logiciel a le support CUDA et que vos versions pilote/exécution correspondent aux exigences de charge de travail pour LLaMA.
Les serveurs GPU ne sont pas encore disponibles pour commander. Aujourd'hui, vous pouvez exécuter LLaMA sur un plan CPU régulier, où il fonctionne beaucoup plus lentement que sur un GPU: SSH et exécuter curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Les besoins en VRAM pour LLaMA dépendent du modèle et de la taille des lots; vérifiez la documentation du projet pour les chiffres actuels.
Les prix GPU seront publiés lorsque les serveurs GPU pourront être commandés. Contactez-nous si vous voulez savoir quand cela se produit.
Oui. Chaque serveur VPS.org est livré avec un accès root complet, vous pouvez donc exécuter d'autres outils à côté de LLaMA dans la mémoire vive et le stockage du serveur.
Chaque serveur VPS.org est livré avec un accès SSH racine complète, de sorte que vous pouvez installer les pilotes, les bibliothèques et LLaMA comme vous le souhaitez.
Non. Aucun serveur n'est livré avec un pilote d'exécution CUDA ou NVIDIA préinstallé, et les serveurs GPU ne sont pas encore disponibles pour commander. Vous installez les versions LLaMA vous-même.
Oui. Les serveurs VPS.org sont des machines virtuelles persistantes, pas des instances éphémères : les modèles LLaMA, les configs et les données restent sur le stockage SSD du serveur jusqu'à ce que vous les supprimiez.
Continuez à travailler sur le SSD du serveur pour un accès rapide pendant les exécutions de LLaMA, et copiez les artefacts finis (poids, générations, embarquations) au stockage extérieur de VPS.org ; les instantanés et sauvegardes restent sur le même groupe de stockage.
Vous pouvez mettre à niveau n'importe quel serveur VPS.org vers un plan plus grand depuis le panneau de contrôle ; la redimensionnement le redémarre et votre installation LLaMA se déplace. Les serveurs GPU ne sont pas encore disponibles.
Oui. Les sauvegardes sont un add-on payant (par jour +30% du prix du forfait, gardé 7 jours; hebdomadaire +20%, gardé 28 jours) et les instantanés sont gratuits, ce qui est utile avant de longues LLaMA. Les deux restent sur le même groupe de stockage que le serveur.
Assistance de contact dans les 30 jours suivant votre premier achat pour demander un remboursement. Les serveurs GPU ne sont pas encore vendus, donc aucune commande GPU n'est en cause.
La capacité de GPU est limitée. Parlez-nous de votre charge de travail et nous répondrons avec disponibilité et prix.