Σερβίρετε μοντέλα AI από NVIDIA Tesla P40 (24 GB VRAM, αρχιτεκτονική Pascal): LLMs, μοντέλα εικόνας και άλλες προβλέψεις. Οι εξυπηρετητές GPU δεν είναι ακόμα διατεταγμένοι; επικοινωνήστε μαζί μας για να ειδοποιηθείτε όταν είναι.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Παράδειγμα εντολής εγκατάστασης
Ένα συμπέρασμα AI σημαίνει τρέχει εκπαιδευμένα μοντέλα για να παράγουν προβλέψεις. Ένας διακομιστής συμπερασμάτων GPU κρατά ένα μοντέλο φορτωμένο στην GPU και απαντήσεις αιτήματα πολύ γρηγορότερα από μια CPU.
Η GPU περνάει μόνο στον διακομιστή σας, έτσι η καθυστέρηση δεν επηρεάζεται από τις εργασίες GPU άλλων πελατών.
Χρησιμοποιήστε Ollama, llama.ccpp, Triton ή το δικό σας API. Ορισμένα πλαίσια, όπως vLLM, χρειάζονται νεότερες GPUs από το Pascal P40.
Εκτελέστε αρκετούς διακομιστές πίσω από το δικό σας ισορροπητή φορτίου εάν μια GPU δεν είναι αρκετή.
Σερβίρετε ένα μοντέλο μεσαίου μεγέθους ή αρκετά μικρότερα.
AI Inference μπορεί να χρησιμοποιήσει μια NVIDIA GPU για να επιταχύνει την εργασία της. VPS.org GPU διακομιστές δεν είναι ακόμα στη διάθεση σας να παραγγείλετε? επικοινωνήστε μαζί μας για να ακούσετε πότε είναι. AI Inference είναι ένα γενικό GPU-επιταχυνόμενο φόρτο εργασίας. Βεβαιωθείτε ότι το λογισμικό σας έχει υποστήριξη CUDA και ότι οι εκδόσεις σας οδηγού / χρόνου λειτουργίας ταιριάζουν με τις απαιτήσεις του φόρτου εργασίας για AI Inference.
Σήμερα μπορείτε να εκτελέσετε AI Inference σε ένα κανονικό σχέδιο CPU, όπου λειτουργεί πολύ πιο αργά από ό, τι σε μια GPU: SSH μέσα και να εκτελέσετε pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
Οι ανάγκες VRAM για AI Inference εξαρτώνται από το μοντέλο και το μέγεθος της παρτίδας, ελέγξτε τα έγγραφα του έργου για τα τρέχοντα στοιχεία.
Η τιμολόγηση της GPU θα δημοσιευθεί όταν οι διακομιστές GPU μπορούν να παραγγελθούν. Επικοινωνήστε μαζί μας αν θέλετε να ακούσετε πότε συμβαίνει αυτό.
Ναι. Κάθε διακομιστής VPS.org έχει πλήρη πρόσβαση στις ρίζες, ώστε να μπορείτε να εκτελέσετε άλλα εργαλεία παράλληλα με AI Inference εντός της RAM και αποθήκευσης του διακομιστή.
Κάθε διακομιστής VPS.org έρχεται με πλήρη πρόσβαση SSH ρίζας, ώστε να μπορείτε να εγκαταστήσετε οδηγούς, βιβλιοθήκες και AI Inference, όπως χρειάζεστε.
No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions AI Inference needs yourself.
Ναι. Οι διακομιστές VPS.org είναι επίμονες εικονικές μηχανές, όχι εφήμερες περιπτώσεις: μοντέλα AI Inference, ρυθμίσεις και δεδομένα παραμένουν στην αποθήκευση SSD του διακομιστή μέχρι να τις διαγράψετε.
Κρατήστε τα δεδομένα εργασίας για SSD του διακομιστή για γρήγορη πρόσβαση κατά τη διάρκεια AI Inference τρέχει, και αντιγράψτε τελικά αντικείμενα (βάρη, γενιές, κτερίσματα) για την αποθήκευση έξω από VPS.org; στιγμιότυπα και αντίγραφα ασφαλείας παραμένουν στην ίδια ομάδα αποθήκευσης.
Μπορείτε να αναβαθμίσετε οποιοδήποτε διακομιστή VPS.org σε ένα μεγαλύτερο σχέδιο από τον πίνακα ελέγχου; η αλλαγή μεγέθους επανεκκινεί και σας AI Inference εγκατάσταση μεταφέρει πάνω.
Ναι. Οι εφεδρικές συσκευές είναι ένα επιπλέον ποσό (καθημερινά +30% της τιμής του σχεδίου, διατηρείται 7 ημέρες; εβδομαδιαία +20%, διατηρούνται 28 ημέρες) και οι φωτογραφίες είναι δωρεάν, το οποίο είναι χρήσιμο πριν από την εκτέλεση του μεγάλου AI Inference. Και οι δύο παραμένουν στην ίδια ομάδα αποθήκευσης με τον διακομιστή.
Υποστήριξη επικοινωνίας εντός 30 ημερών από την πρώτη αγορά σας για να ζητήσετε επιστροφή χρημάτων. Οι διακομιστές GPU δεν πωλούνται ακόμα, έτσι δεν υπάρχει εντολή GPU.
Η ικανότητα GPU είναι περιορισμένη. Πείτε μας για το φόρτο εργασίας σας και θα απαντήσουμε με διαθεσιμότητα και τιμολόγηση.