Modele Llama samoporządkowanej Meta na NVIDIA Tesla P40 (24 GB VRAM, Pascal architektura). Połączone z modelami 8B w pełnej precyzji i większych modelach podczas kwantyzacji. Serwery GPU są jeszcze nieporządkowane; skontaktuj się z nami, aby być powiadomione o nich.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Przykład polecenia instalacyjnego
Llama jest rodziną Meta otwartie dostępne dużych modeli językowych. Uruchomienie Llama na własnym serwerze GPU zachowuje pytania i dane prywatne.
Prowadzi modele 8B na 24 GB modeli VRAM. 70B nie pasuje do jednej karty 24 GB na wspólnych poziomach kwantyzacji.
Twoje pytania i dane pozostają na serwerze, bez połączeń API osób trzecich.
Użyj GGUF z lama.cpp lub Ollama, lub native wag PyTorch.
Podawać modele z Ollamą lub serwerem lama.cpp dla punktu końcowego, kompatybilnego z OpenAI.
LLaMA może używać NVIDIA GPU do przyspieszenia jego pracy. VPS.org GPU serwery nie są jeszcze dostępne; skontaktuj się z nami, aby usłyszeć kiedy są. LLaMA jest ogólną zadaną pracą GPU. Upewnij się, że Twoje oprogramowanie ma wsparcie PUDA i że Twój kierowca / wersja jazdy odpowiada wymaganiom pracy dla LLaMA.
Serwery GPU nie są jeszcze dostępne. Dzisiaj można uruchomić LLaMA w ramach regularnego planu procesora, gdzie działa on znacznie powoli niż w GPU: SSH w i uruchomić curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Potrzeby VRAM dla LLaMA zależą od wielkości modelu i partii; sprawdź dokumentację projektu, aby uzyskać aktualne dane.
GPU ceny zostaną opublikowane, gdy serwery GPU będą mogły być zamówione. Skontaktuj się z nami, jeśli chcesz usłyszeć, kiedy to się stanie.
Tak. Każdy serwer VPS.org ma pełny dostęp do korzeni, więc można uruchomić inne narzędzia obok LLaMA w pamięci i przechowywaniu serwera.
Każdy serwer VPS.org przychodzi z pełnym dostępem SSH root, więc możesz zainstalować sterowniki, biblioteki i LLaMA, jak tylko chcesz.
Nie. Nie ma serwera z uruchomieniem CIDA lub NVIDIA sterownik wstępnie zainstalowany, a serwery GPU nie są jeszcze dostępne do zamówienia. Zainstalowałeś wersje LLaMA potrzebują siebie.
Tak. serwery VPS.org to uporcze maszyny wirtualne, a nie efemeralne przykłady: modele LLaMA, konfiguracje i dane pozostają na pamięci SSD serwera, aż je usuniesz.
Zachować prace nad SSD serwera w celu szybkiego dostępu podczas uruchamiania LLaMA i kopiować gotowe artefakty (wagi, pokolenia, wbudowy) do przechowywania poza VPS.org; zdjęcia i kopie kopii pozostają na tym samym gronie.
Możesz uaktualnić każdy serwer VPS.org do większego planu z panelu sterowania; zmiana rozmiaru ponownie go i instalacja LLaMA przenosi. Serwery GPU nie są jeszcze dostępne.
Tak. Kopia kopii to dodatek (dnia +30% ceny planu, zatrzymane 7 dni; tydzień +20%, przechowywane 28 dni) i zrzuty są bezpłatne, co jest użyte przed długim uruchomieniem LLaMA. Oba pozostań na tym samym gronie co serwer.
Wsparcie kontaktowe w ciągu 30 dni od pierwszego zakupu, aby zażądać zwrotu. Serwery GPU nie są jeszcze sprzedawane, więc nie ma zamówienia GPU.
Pojemność GPU jest ograniczona. Opowiedz nam o swojej pracy i będziemy odpowiedzieć na to za pomocą dostępności i cen.