Gatavojam GPU serveri ar NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) atklātā avota LLM darbināšanai, piemēram, Llama, Mistral un Gemma ar Ollama. GPU serveri vēl nav pasūtāmi; sazinieties ar mums, kad tie būs.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Piemēru instalēšanas komanda
Ollama ir vieglais rīks lielu valodu modeļu darbināšanai savā mašīnā. Uz GPU servera modelis darbojas uz GPU, nevis uz CPU, kas padara atbildes daudz ātrāk.
Velciet Llama, Mistral, Gemma, Phi, Qwen un daudzi citi modeļi ar vienu komandu.
Pietiekami 7B līdz 13B modeļi ērti un ap 30B modeļiem, kad tos nosaka kvantificējot. 70B modeļi neiederas vienā 24 GB kartē pie kopējiem kvantitatīvās noteikšanas līmeņiem.
Ieteikumi un dati palikt uz servera, bez trešo pušu API zvaniem.
Ollama atklāj ar atvērtiem nosacījumiem saderīgus rezultātus, ko var izmantot daudzi esošie klienti.
Ollama can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. Ollama is primarily an LLM-inference / chat workload. You will want fast random-access reads from disk to memory and enough VRAM for the model plus context window.
GPU serveri vēl nav pieejami pasūtīt. Šodien jūs varat palaist Ollama uz regulāra CPU plāna, kur tas darbojas daudz lēnāk nekā GPU: SSH iekšā un palaist curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM ievades VRAM skalas ar modeļa parametriem: 7B modelim nepieciešams aptuveni 5 līdz 8 GB VRAM un 13B modelim aptuveni 10 līdz 14 GB, savukārt 70B klases modeļiem ir nepieciešami vairāki GPU vai smags kvantizācija.
GPU tarifikācija tiks publicēta, kad GPU serveri varēs pasūtīt. Sazinieties ar mums, ja vēlaties dzirdēt, kad tas notiks.
Jā. Katrs VPS.org serveris nāk ar pilnu root piekļuvi, lai jūs varētu palaist citus rīkus blakus Ollama ietvaros servera RAM un glabāšanu.
Katrs VPS.org serveris nāk ar pilnu root SSH piekļuvi, lai jūs varētu instalēt draiveri, bibliotēkas un Ollama tomēr jums ir nepieciešams.
Nē. Neviens serveris nāk ar CUDA darba laiku vai NVIDIA draiveris instalēts, un GPU serveri nav pieejami, lai pasūtītu vēl. Jūs instalēt versijas Ollama ir nepieciešams pats.
Jā. VPS.org serveri ir pastāvīga virtuālās mašīnas, nevis ephemmeral instances: Ollama modeļi, konfigurācijas un dati palikt uz servera SSD glabāšanas līdz jūs tos dzēst.
Saglabāt servera SSD darba datus ātrai piekļuvei Ollama paužu laikā, un kopēt pabeigtos artefaktus (svarus, paaudzes, iegultos datus) uz glabāšanu ārpus VPS.org; momentuzņēmumus un rezerves kopijas palikt uz tā paša datu glabāšanas klastera.
Jūs varat uzlabot jebkuru VPS.org serveri uz lielāku plānu no vadības paneļa; mainot izmēru, tas tiek atjaunots, un jūsu Ollama instalācija pārpilda vairāk. GPU serveri vēl nav pieejami.
Jā. Backups ir apmaksāts papildmaksa (dienas +30% no plāna cenas, saglabāts 7 dienas; iknedēļas +20%, saglabāts 28 dienas) un fotogrāfijām ir bezmaksas, kas ir noderīga, pirms ilgi Ollama iet. Abi palikt uz tā paša glabāšanas klasterī kā serveris.
Kontaktu atbalsts 30 dienu laikā pēc pirmā pirkuma pieprasīt kompensāciju. GPU serveri vēl netiek pārdoti, tāpēc nav iesaistīts GPU pasūtījums.
GPU jauda ir ierobežota. Pastāsti mums par savu darba slodzi, un mēs atbildēsim ar pieejamību un cenu noteikšanu.