Ετοιμάζουμε διακομιστές GPU με ένα NVIDIA Tesla P40 (24 GB VRAM, αρχιτεκτονική Pascal) για λειτουργία ανοικτού κώδικα LLMs όπως Llama, Mistral και Gemma με Ollama. Οι διακομιστές GPU δεν είναι ακόμα παραγγελία; επικοινωνήστε μαζί μας για να ειδοποιηθείτε όταν είναι.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Παράδειγμα εντολής εγκατάστασης
Ollama είναι ένα ελαφρύ εργαλείο για την εκτέλεση μεγάλων γλωσσικών μοντέλων στη δική σας μηχανή. Σε έναν διακομιστή GPU το μοντέλο τρέχει στην GPU αντί της CPU, η οποία κάνει τις απαντήσεις πολύ πιο γρήγορα.
Τράβα Λάμα, Μίστραλ, Τζέμα, Φι, Κιουέν και πολλά άλλα μοντέλα με μια εντολή.
Τα μοντέλα ταιριάζει 7B έως 13B άνετα και γύρω από 30B μοντέλα όταν κοστολογείται. 70B μοντέλα δεν ταιριάζουν σε μια κάρτα 24 GB σε κοινά επίπεδα κβαντισμού.
Οι prompts και τα δεδομένα παραμένουν στον διακομιστή σας, χωρίς κλήσεις API τρίτων.
Η Ollama εκθέτει ένα συμβατό με την OpenAI τελικό σημείο που πολλοί υφιστάμενοι πελάτες μπορούν να χρησιμοποιήσουν.
Ollama can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. Ollama is primarily an LLM-inference / chat workload. You will want fast random-access reads from disk to memory and enough VRAM for the model plus context window.
Σήμερα μπορείτε να εκτελέσετε Ollama σε ένα κανονικό σχέδιο CPU, όπου λειτουργεί πολύ πιο αργά από ό, τι σε μια GPU: SSH μέσα και να εκτελέσετε curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM παρεμβαλλόμενες κλίμακες VRAM με παραμέτρους μοντέλου: ένα μοντέλο 7B χρειάζεται περίπου 5 έως 8 GB VRAM και ένα μοντέλο 13B περίπου 10 έως 14 GB, ενώ 70B-ταξών μοντέλα χρειάζονται αρκετές GPU ή βαριά ποσοτικοποίηση.
Η τιμολόγηση της GPU θα δημοσιευθεί όταν οι διακομιστές GPU μπορούν να παραγγελθούν. Επικοινωνήστε μαζί μας αν θέλετε να ακούσετε πότε συμβαίνει αυτό.
Ναι. Κάθε διακομιστής VPS.org έχει πλήρη πρόσβαση στις ρίζες, ώστε να μπορείτε να εκτελέσετε άλλα εργαλεία παράλληλα με Ollama εντός της RAM και αποθήκευσης του διακομιστή.
Κάθε διακομιστής VPS.org έρχεται με πλήρη πρόσβαση SSH ρίζας, ώστε να μπορείτε να εγκαταστήσετε οδηγούς, βιβλιοθήκες και Ollama, όπως χρειάζεστε.
No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions Ollama needs yourself.
Ναι. Οι διακομιστές VPS.org είναι επίμονες εικονικές μηχανές, όχι εφήμερες περιπτώσεις: μοντέλα Ollama, ρυθμίσεις και δεδομένα παραμένουν στην αποθήκευση SSD του διακομιστή μέχρι να τις διαγράψετε.
Κρατήστε τα δεδομένα εργασίας για SSD του διακομιστή για γρήγορη πρόσβαση κατά τη διάρκεια Ollama τρέχει, και αντιγράψτε τελικά αντικείμενα (βάρη, γενιές, κτερίσματα) για την αποθήκευση έξω από VPS.org; στιγμιότυπα και αντίγραφα ασφαλείας παραμένουν στην ίδια ομάδα αποθήκευσης.
Μπορείτε να αναβαθμίσετε οποιοδήποτε διακομιστή VPS.org σε ένα μεγαλύτερο σχέδιο από τον πίνακα ελέγχου; η αλλαγή μεγέθους επανεκκινεί και σας Ollama εγκατάσταση μεταφέρει πάνω.
Ναι. Οι εφεδρικές συσκευές είναι ένα επιπλέον ποσό (καθημερινά +30% της τιμής του σχεδίου, διατηρείται 7 ημέρες; εβδομαδιαία +20%, διατηρούνται 28 ημέρες) και οι φωτογραφίες είναι δωρεάν, το οποίο είναι χρήσιμο πριν από την εκτέλεση του μεγάλου Ollama. Και οι δύο παραμένουν στην ίδια ομάδα αποθήκευσης με τον διακομιστή.
Υποστήριξη επικοινωνίας εντός 30 ημερών από την πρώτη αγορά σας για να ζητήσετε επιστροφή χρημάτων. Οι διακομιστές GPU δεν πωλούνται ακόμα, έτσι δεν υπάρχει εντολή GPU.
Η ικανότητα GPU είναι περιορισμένη. Πείτε μας για το φόρτο εργασίας σας και θα απαντήσουμε με διαθεσιμότητα και τιμολόγηση.