Αυτο-ξενώνας μοντέλα Llama Meta σε NVIDIA Tesla P40 (24 GB VRAM, Pascal αρχιτεκτονική). Κατάλληλο σε 8B μοντέλα σε πλήρη ακρίβεια και μεγαλύτερα μοντέλα όταν κοστολογείται.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Παράδειγμα εντολής εγκατάστασης
Η Llama είναι η οικογένεια Meta των ανοικτά διαθέσιμων μεγάλων γλωσσικών μοντέλων.
Λειτουργεί 8B μοντέλα σε 24 GB του VRAM. 70B μοντέλα δεν ταιριάζουν σε μια ενιαία κάρτα 24 GB σε κοινά επίπεδα κβαντισμού.
Οι εντολές και τα δεδομένα σας παραμένουν στον διακομιστή σας, χωρίς κλήσεις API τρίτων.
Χρησιμοποιήστε GGUF με llama.ccpp ή Ollama, ή εγγενή PyTorch βάρη.
Σερβίρετε μοντέλα με Ollama ή τον εξυπηρετητή llama.ccpp για ένα συμβατό με OpenAI τελικό σημείο.
LLaMA μπορεί να χρησιμοποιήσει μια NVIDIA GPU για να επιταχύνει την εργασία της. VPS.org GPU διακομιστές δεν είναι ακόμα στη διάθεση σας να παραγγείλετε? επικοινωνήστε μαζί μας για να ακούσετε πότε είναι. LLaMA είναι ένα γενικό GPU-επιταχυνόμενο φόρτο εργασίας. Βεβαιωθείτε ότι το λογισμικό σας έχει υποστήριξη CUDA και ότι οι εκδόσεις σας οδηγού / χρόνου λειτουργίας ταιριάζουν με τις απαιτήσεις του φόρτου εργασίας για LLaMA.
Σήμερα μπορείτε να εκτελέσετε LLaMA σε ένα κανονικό σχέδιο CPU, όπου λειτουργεί πολύ πιο αργά από ό, τι σε μια GPU: SSH μέσα και να εκτελέσετε curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Οι ανάγκες VRAM για LLaMA εξαρτώνται από το μοντέλο και το μέγεθος της παρτίδας, ελέγξτε τα έγγραφα του έργου για τα τρέχοντα στοιχεία.
Η τιμολόγηση της GPU θα δημοσιευθεί όταν οι διακομιστές GPU μπορούν να παραγγελθούν. Επικοινωνήστε μαζί μας αν θέλετε να ακούσετε πότε συμβαίνει αυτό.
Ναι. Κάθε διακομιστής VPS.org έχει πλήρη πρόσβαση στις ρίζες, ώστε να μπορείτε να εκτελέσετε άλλα εργαλεία παράλληλα με LLaMA εντός της RAM και αποθήκευσης του διακομιστή.
Κάθε διακομιστής VPS.org έρχεται με πλήρη πρόσβαση SSH ρίζας, ώστε να μπορείτε να εγκαταστήσετε οδηγούς, βιβλιοθήκες και LLaMA, όπως χρειάζεστε.
No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions LLaMA needs yourself.
Ναι. Οι διακομιστές VPS.org είναι επίμονες εικονικές μηχανές, όχι εφήμερες περιπτώσεις: μοντέλα LLaMA, ρυθμίσεις και δεδομένα παραμένουν στην αποθήκευση SSD του διακομιστή μέχρι να τις διαγράψετε.
Κρατήστε τα δεδομένα εργασίας για SSD του διακομιστή για γρήγορη πρόσβαση κατά τη διάρκεια LLaMA τρέχει, και αντιγράψτε τελικά αντικείμενα (βάρη, γενιές, κτερίσματα) για την αποθήκευση έξω από VPS.org; στιγμιότυπα και αντίγραφα ασφαλείας παραμένουν στην ίδια ομάδα αποθήκευσης.
Μπορείτε να αναβαθμίσετε οποιοδήποτε διακομιστή VPS.org σε ένα μεγαλύτερο σχέδιο από τον πίνακα ελέγχου; η αλλαγή μεγέθους επανεκκινεί και σας LLaMA εγκατάσταση μεταφέρει πάνω.
Ναι. Οι εφεδρικές συσκευές είναι ένα επιπλέον ποσό (καθημερινά +30% της τιμής του σχεδίου, διατηρείται 7 ημέρες; εβδομαδιαία +20%, διατηρούνται 28 ημέρες) και οι φωτογραφίες είναι δωρεάν, το οποίο είναι χρήσιμο πριν από την εκτέλεση του μεγάλου LLaMA. Και οι δύο παραμένουν στην ίδια ομάδα αποθήκευσης με τον διακομιστή.
Υποστήριξη επικοινωνίας εντός 30 ημερών από την πρώτη αγορά σας για να ζητήσετε επιστροφή χρημάτων. Οι διακομιστές GPU δεν πωλούνται ακόμα, έτσι δεν υπάρχει εντολή GPU.
Η ικανότητα GPU είναι περιορισμένη. Πείτε μας για το φόρτο εργασίας σας και θα απαντήσουμε με διαθεσιμότητα και τιμολόγηση.