Podawaj modele AI z NVIDIA Tesla P40 (24 GB VRAM, Pascal architektura): LLMs, modele obrazów i inne przewidywania. Serwery GPU nie są jeszcze porządne; skontaktuj się z nami, aby być powiadomione, kiedy są.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Przykład polecenia instalacyjnego
Wynik AI oznacza uruchomienie wyszkolonych modeli do produkcji prognoz. Serwer wyników GPU trzyma model załadowany na GPU i odpowiada na żądania znacznie szybciej niż procesor.
GPU jest przekazywany przez Twój serwer tylko, więc nie wpływają na niego prace innych klientów.
Użyj Ollamy, lamy.cpp, Triton lub własnego API. Niektóre ramy, takie jak vLLM, potrzebują nowszych GPU niż Pascal P40.
Uruchom kilka serwerów za własnym balanserem obciążeń, jeśli jeden GPU nie wystarczy.
Pośledź jeden model średniej wielkości lub kilka mniejszych.
AI Inference może używać NVIDIA GPU do przyspieszenia jego pracy. VPS.org GPU serwery nie są jeszcze dostępne; skontaktuj się z nami, aby usłyszeć kiedy są. AI Inference jest ogólną zadaną pracą GPU. Upewnij się, że Twoje oprogramowanie ma wsparcie PUDA i że Twój kierowca / wersja jazdy odpowiada wymaganiom pracy dla AI Inference.
Serwery GPU nie są jeszcze dostępne. Dzisiaj można uruchomić AI Inference w ramach regularnego planu procesora, gdzie działa on znacznie powoli niż w GPU: SSH w i uruchomić pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
Potrzeby VRAM dla AI Inference zależą od wielkości modelu i partii; sprawdź dokumentację projektu, aby uzyskać aktualne dane.
GPU ceny zostaną opublikowane, gdy serwery GPU będą mogły być zamówione. Skontaktuj się z nami, jeśli chcesz usłyszeć, kiedy to się stanie.
Tak. Każdy serwer VPS.org ma pełny dostęp do korzeni, więc można uruchomić inne narzędzia obok AI Inference w pamięci i przechowywaniu serwera.
Każdy serwer VPS.org przychodzi z pełnym dostępem SSH root, więc możesz zainstalować sterowniki, biblioteki i AI Inference, jak tylko chcesz.
Nie. Nie ma serwera z uruchomieniem CIDA lub NVIDIA sterownik wstępnie zainstalowany, a serwery GPU nie są jeszcze dostępne do zamówienia. Zainstalowałeś wersje AI Inference potrzebują siebie.
Tak. serwery VPS.org to uporcze maszyny wirtualne, a nie efemeralne przykłady: modele AI Inference, konfiguracje i dane pozostają na pamięci SSD serwera, aż je usuniesz.
Zachować prace nad SSD serwera w celu szybkiego dostępu podczas uruchamiania AI Inference i kopiować gotowe artefakty (wagi, pokolenia, wbudowy) do przechowywania poza VPS.org; zdjęcia i kopie kopii pozostają na tym samym gronie.
Możesz uaktualnić każdy serwer VPS.org do większego planu z panelu sterowania; zmiana rozmiaru ponownie go i instalacja AI Inference przenosi. Serwery GPU nie są jeszcze dostępne.
Tak. Kopia kopii to dodatek (dnia +30% ceny planu, zatrzymane 7 dni; tydzień +20%, przechowywane 28 dni) i zrzuty są bezpłatne, co jest użyte przed długim uruchomieniem AI Inference. Oba pozostań na tym samym gronie co serwer.
Wsparcie kontaktowe w ciągu 30 dni od pierwszego zakupu, aby zażądać zwrotu. Serwery GPU nie są jeszcze sprzedawane, więc nie ma zamówienia GPU.
Pojemność GPU jest ograniczona. Opowiedz nam o swojej pracy i będziemy odpowiedzieć na to za pomocą dostępności i cen.