Mes ruošiame GPU serverius su NVIDIA Tesla P40 (24 GB VRAM, Pascal architektūra) atvirojo kodo LLMs, pvz., Llama, Mistral ir Gemma su Ollama. GPU serveriai dar nėra užsakomi; susisiekite su mumis, kai jie bus.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Pavyzdžio įdiegimo komanda
Ollama yra lengvas įrankis dideliems kalbos modeliams valdyti savo mašinoje. GPU serveryje modelis veikia GPU vietoj procesoriaus, todėl atsakymai daug greičiau.
Patraukite Llama, Mistral, Gemma, Phi, Qwen ir daug kitų modelių su viena komanda.
Kvantitatyviniai 7B-13B modeliai patogiai ir aplink 30B modelius. 70B modeliai netinka vienoje 24 GB kortelėje, kai yra bendri kiekybiniai lygiai.
Numatomi ir duomenys lieka jūsų serveryje be trečiųjų šalių API skambučių.
Ollama atskleidžia su atviru SI suderinamą rezultatą, kurį gali naudoti daugelis esamų klientų.
Ollama can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. Ollama is primarily an LLM-inference / chat workload. You will want fast random-access reads from disk to memory and enough VRAM for the model plus context window.
GPU serverius dar galima užsisakyti. Šiandien galite paleisti Ollama pagal reguliarų procesoriaus planą, kuriame jis veikia daug lėčiau nei GPU: SSH įjungti ir paleisti curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM išvadų VRAM svarstyklės su modelio parametrais: 7B modelis turi maždaug 5-8 GB VRAM ir 13B modelis maždaug 10-14 GB, o 70B klasės modeliams reikia kelių GPU arba sunkiųjų kiekybinių.
Kainos GPU bus paskelbtos, kai GPU serveriai bus užsakyti. Jei norite, susisiekite su mumis, kai tai įvyks.
Taip. Kiekvienas VPS.org serveris ateina su visiška root prieiga, todėl jūs galite paleisti kitus įrankius kartu su Ollama serverio RAM ir saugojimo.
Kiekvienas VPS.org serveris ateina su pilna šaknis SSH prieigą, todėl jūs galite įdiegti tvarkyklės, bibliotekos ir Ollama, tačiau jums reikia.
Ne. Nėra serverio su CUDA darbo laiku arba NVIDIA tvarkykle, įdiegta, o GPU serveriai dar nėra prieinami užsisakyti. Jūs turite įdiegti versijas Ollama.
Taip. VPS.org serveriai yra nuolat virtualios mašinos, o ne efemeral incidentai: Ollama modeliai, konfigūracijos ir duomenys likti ant serverio SSD saugojimo, kol jūs juos ištrinti.
Laikyti serverio SSD darbo duomenis, kad būtų galima greitai pasiekti Ollama paleidimo metu, ir nukopijuoti baigtus artefaktus (svorius, kartas, įterpimus) į saugojimą išorėje, išorėje, VPS.org; vaizdai ir atsarginės kopijos lieka tame pačiame saugojimo klaselyje.
Galite atnaujinti bet kurį VPS.org serverį į didesnį planą iš valdymo pulto; jo dydis atnaujinamas, o jūsų Ollama įdiegimas atlieka perėjimus. GPU serverių dar nėra.
Taip. Atsarginės dalys yra apmokamas papildomas (dienos +30% plano kainos, saugomi 7 dienas; kas savaitę +20%, laikomi 28 dienas) ir vaizdai yra nemokamas, tai yra naudinga prieš ilgai Ollama bėgti. Abu likti ant to paties saugojimo klasterio kaip serveris.
Kontaktinė parama per 30 dienų nuo pirmojo pirkimo prašyti grąžinti. GPU serveriai dar nėra parduodami, todėl nėra GPU užsakymo.
GPU pajėgumas ribotas. Praneškite mums apie savo darbo krūvį ir atsakysime į tai, ar bus galima naudotis ir ar bus nustatyta kaina.