Pašusta Meta Llama modeļi NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture). Piemēroti 8B modeļiem ar pilnīgu precizitāti un lielākiem modeļiem, kad kvantificē. GPU serveri vēl nav pasūtāmi; sazinieties ar mums, lai saņemtu paziņojumu, kad tie ir.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Piemēru instalēšanas komanda
Llama ir atklāti pieejamu lielu valodu modeļu Meta ģimene. Darbojoties ar savu GPU serveri, tiek saglabāti privāti datu avoti.
Skrējiena 8B modeļus 24 GB VRAM. 70B modeļus neiederas vienā 24 GB kartē ar kopējiem kvantitatīvās noteikšanas līmeņiem.
Jūsu steidzamie un dati paliek jūsu serverī bez trešo pušu API zvaniem.
Izmantojiet GGUF ar lama.cpp vai Olama, vai dzimtā PyTorch svaru.
Servisa modeļi ar Ollama vai llama.cpp serveri OpenAI saderīgu galapunktu.
LLaMA can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. LLaMA is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for LLaMA.
GPU serveri vēl nav pieejami pasūtīt. Šodien jūs varat palaist LLaMA uz regulāra CPU plāna, kur tas darbojas daudz lēnāk nekā GPU: SSH iekšā un palaist curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM vajadzības LLaMA ir atkarīga no modeļa un partijas izmēra; pārbaudiet projekta dokumentāciju pašreizējiem skaitļiem.
GPU tarifikācija tiks publicēta, kad GPU serveri varēs pasūtīt. Sazinieties ar mums, ja vēlaties dzirdēt, kad tas notiks.
Jā. Katrs VPS.org serveris nāk ar pilnu root piekļuvi, lai jūs varētu palaist citus rīkus blakus LLaMA ietvaros servera RAM un glabāšanu.
Katrs VPS.org serveris nāk ar pilnu root SSH piekļuvi, lai jūs varētu instalēt draiveri, bibliotēkas un LLaMA tomēr jums ir nepieciešams.
Nē. Neviens serveris nāk ar CUDA darba laiku vai NVIDIA draiveris instalēts, un GPU serveri nav pieejami, lai pasūtītu vēl. Jūs instalēt versijas LLaMA ir nepieciešams pats.
Jā. VPS.org serveri ir pastāvīga virtuālās mašīnas, nevis ephemmeral instances: LLaMA modeļi, konfigurācijas un dati palikt uz servera SSD glabāšanas līdz jūs tos dzēst.
Saglabāt servera SSD darba datus ātrai piekļuvei LLaMA paužu laikā, un kopēt pabeigtos artefaktus (svarus, paaudzes, iegultos datus) uz glabāšanu ārpus VPS.org; momentuzņēmumus un rezerves kopijas palikt uz tā paša datu glabāšanas klastera.
Jūs varat uzlabot jebkuru VPS.org serveri uz lielāku plānu no vadības paneļa; mainot izmēru, tas tiek atjaunots, un jūsu LLaMA instalācija pārpilda vairāk. GPU serveri vēl nav pieejami.
Jā. Backups ir apmaksāts papildmaksa (dienas +30% no plāna cenas, saglabāts 7 dienas; iknedēļas +20%, saglabāts 28 dienas) un fotogrāfijām ir bezmaksas, kas ir noderīga, pirms ilgi LLaMA iet. Abi palikt uz tā paša glabāšanas klasterī kā serveris.
Kontaktu atbalsts 30 dienu laikā pēc pirmā pirkuma pieprasīt kompensāciju. GPU serveri vēl netiek pārdoti, tāpēc nav iesaistīts GPU pasūtījums.
GPU jauda ir ierobežota. Pastāsti mums par savu darba slodzi, un mēs atbildēsim ar pieejamību un cenu noteikšanu.