Nous préparons des serveurs GPU avec un NVIDIA Tesla P40 (24 GB VRAM, architecture Pascal) pour exécuter des LLM open-source tels que Llama, Mistral et Gemma avec Ollama. Les serveurs GPU ne sont pas encore disponibles; contactez-nous pour être avertis quand ils le sont.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Exemple de commande d'installation
Ollama est un outil léger pour l'exécution de modèles de grande langue sur votre propre machine. Sur un serveur GPU, le modèle fonctionne sur le GPU au lieu du CPU, ce qui rend les réponses beaucoup plus rapides.
Pull Llama, Mistral, Gemma, Phi, Qwen et bien d'autres modèles avec une commande.
Convient aux modèles 7B à 13B confortablement et environ 30B modèles quand quantifié. 70B modèles ne s'adaptent pas sur une carte de 24 Go aux niveaux de quantification communs.
Les données et les appels de données restent sur votre serveur, sans appel d'API tiers.
Ollama expose un paramètre compatible OpenAI que de nombreux clients existants peuvent utiliser.
Ollama peut utiliser un GPU NVIDIA pour accélérer son travail. Les serveurs GPU VPS.org ne sont pas encore disponibles pour commander; contactez-nous pour entendre quand ils sont. Ollama est principalement une charge de travail LLM-inférence / chat. Vous voudrez rapidement accès aléatoire lit du disque à la mémoire et assez de VRAM pour le modèle plus fenêtre de contexte.
Les serveurs GPU ne sont pas encore disponibles pour commander. Aujourd'hui, vous pouvez exécuter Ollama sur un plan CPU régulier, où il fonctionne beaucoup plus lentement que sur un GPU: SSH et exécuter curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Inférence LLM échelles VRAM avec paramètres de modèle: un modèle 7B a besoin d'environ 5 à 8 Go de VRAM et un modèle 13B environ 10 à 14 Go, tandis que les modèles 70B ont besoin de plusieurs GPU ou de forte quantification.
Les prix GPU seront publiés lorsque les serveurs GPU pourront être commandés. Contactez-nous si vous voulez savoir quand cela se produit.
Oui. Chaque serveur VPS.org est livré avec un accès root complet, vous pouvez donc exécuter d'autres outils à côté de Ollama dans la mémoire vive et le stockage du serveur.
Chaque serveur VPS.org est livré avec un accès SSH racine complète, de sorte que vous pouvez installer les pilotes, les bibliothèques et Ollama comme vous le souhaitez.
Non. Aucun serveur n'est livré avec un pilote d'exécution CUDA ou NVIDIA préinstallé, et les serveurs GPU ne sont pas encore disponibles pour commander. Vous installez les versions Ollama vous-même.
Oui. Les serveurs VPS.org sont des machines virtuelles persistantes, pas des instances éphémères : les modèles Ollama, les configs et les données restent sur le stockage SSD du serveur jusqu'à ce que vous les supprimiez.
Continuez à travailler sur le SSD du serveur pour un accès rapide pendant les exécutions de Ollama, et copiez les artefacts finis (poids, générations, embarquations) au stockage extérieur de VPS.org ; les instantanés et sauvegardes restent sur le même groupe de stockage.
Vous pouvez mettre à niveau n'importe quel serveur VPS.org vers un plan plus grand depuis le panneau de contrôle ; la redimensionnement le redémarre et votre installation Ollama se déplace. Les serveurs GPU ne sont pas encore disponibles.
Oui. Les sauvegardes sont un add-on payant (par jour +30% du prix du forfait, gardé 7 jours; hebdomadaire +20%, gardé 28 jours) et les instantanés sont gratuits, ce qui est utile avant de longues Ollama. Les deux restent sur le même groupe de stockage que le serveur.
Assistance de contact dans les 30 jours suivant votre premier achat pour demander un remboursement. Les serveurs GPU ne sont pas encore vendus, donc aucune commande GPU n'est en cause.
La capacité de GPU est limitée. Parlez-nous de votre charge de travail et nous répondrons avec disponibilité et prix.