Przygotowujemy serwery GPU z NVIDIA Tesla P40 (24 GB VRAM, Pascal architektura) do uruchomienia otwartych LLMs, takich jak Llama, Mistral i Gemma z Ollama. Serwery GPU nie są jeszcze porządkowane; skontaktuj się z nami, aby być powiadomione kiedy są.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Przykład polecenia instalacyjnego
Ollama jest lekkim narzędziem do uruchomienia dużych modeli językowych na własnej maszynie. Na serwerze GPU model działa na GPU zamiast procesora, co sprawia, że odpowiedzi są znacznie szybsze.
Pociągnij Llama, Mistral, Gemma, Phi, Qwen i wiele innych modeli z jednym dowództwem.
Dopasowuje modele 7B do 13B komfortowo i około 30B modeli podczas kwantyfikacji. 70B modele nie pasują do jednej 24 GB karty na wspólnych poziomach kwantyzacji.
Zapytania i dane pozostają na serwerze, bez połączeń API stron trzecich.
Ollama ujawnia punkt końcowy kompatybilny z OpenAI, który może wykorzystać wielu istniejących klientów.
Ollama może używać NVIDIA GPU do przyspieszenia jego pracy. VPS.org GPU serwery nie są jeszcze dostępne; skontaktuj się z nami, aby usłyszeć kiedy są. Ollama jest głównie LLM-inference / chat. Będziesz chciał szybko odczytywać losowo-dostępne od dysku do pamięci i wystarczająco VRAM dla modelu plus okna kontekstu.
Serwery GPU nie są jeszcze dostępne. Dzisiaj można uruchomić Ollama w ramach regularnego planu procesora, gdzie działa on znacznie powoli niż w GPU: SSH w i uruchomić curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Wzorce LLM VRAM z parametrami modelu: model 7B wymaga około 5 do 8 GB VRAM i model 13B około 10 do 14 GB, natomiast modele 70B wymagają kilku GPU lub ciężkiej kwantyfikacji.
GPU ceny zostaną opublikowane, gdy serwery GPU będą mogły być zamówione. Skontaktuj się z nami, jeśli chcesz usłyszeć, kiedy to się stanie.
Tak. Każdy serwer VPS.org ma pełny dostęp do korzeni, więc można uruchomić inne narzędzia obok Ollama w pamięci i przechowywaniu serwera.
Każdy serwer VPS.org przychodzi z pełnym dostępem SSH root, więc możesz zainstalować sterowniki, biblioteki i Ollama, jak tylko chcesz.
Nie. Nie ma serwera z uruchomieniem CIDA lub NVIDIA sterownik wstępnie zainstalowany, a serwery GPU nie są jeszcze dostępne do zamówienia. Zainstalowałeś wersje Ollama potrzebują siebie.
Tak. serwery VPS.org to uporcze maszyny wirtualne, a nie efemeralne przykłady: modele Ollama, konfiguracje i dane pozostają na pamięci SSD serwera, aż je usuniesz.
Zachować prace nad SSD serwera w celu szybkiego dostępu podczas uruchamiania Ollama i kopiować gotowe artefakty (wagi, pokolenia, wbudowy) do przechowywania poza VPS.org; zdjęcia i kopie kopii pozostają na tym samym gronie.
Możesz uaktualnić każdy serwer VPS.org do większego planu z panelu sterowania; zmiana rozmiaru ponownie go i instalacja Ollama przenosi. Serwery GPU nie są jeszcze dostępne.
Tak. Kopia kopii to dodatek (dnia +30% ceny planu, zatrzymane 7 dni; tydzień +20%, przechowywane 28 dni) i zrzuty są bezpłatne, co jest użyte przed długim uruchomieniem Ollama. Oba pozostań na tym samym gronie co serwer.
Wsparcie kontaktowe w ciągu 30 dni od pierwszego zakupu, aby zażądać zwrotu. Serwery GPU nie są jeszcze sprzedawane, więc nie ma zamówienia GPU.
Pojemność GPU jest ograniczona. Opowiedz nam o swojej pracy i będziemy odpowiedzieć na to za pomocą dostępności i cen.