Savarankiškas meta Llama modeliai NVIDIA Tesla P40 (24 GB VRAM, Pascal architektūra). Kvantitalizavus, į 8B modelius buvo įdėta visiškai tiksli ir didesniems modeliams. GPU serveriai dar nėra užsakomi; susisiekite su mumis, kad juos praneštumėte, kai jie bus.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Pavyzdžio įdiegimo komanda
Llama yra atvirai prieinamų stambių kalbų modelių Meta šeima. Savo GPU serveryje veikia Llama, todėl duomenys yra privatūs.
Vyksta 8B modeliai 24 GB VRAM. 70B modeliai netinka ant vienos 24 GB kortelės esant bendriems kvantifikacijos lygiams.
Jūsų greitieji pranešimai ir duomenų buvimo serverio, be trečiųjų šalių API skambučių.
Naudokite GGUF su lama.cpp arba Ollama, arba gimtoji PyTorch svareliai.
Serve modeliai su Ollama arba llama.cpp serveris OpenAI suderinamą vertinamąją baigtį.
LLaMA can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. LLaMA is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for LLaMA.
GPU serverius dar galima užsisakyti. Šiandien galite paleisti LLaMA pagal reguliarų procesoriaus planą, kuriame jis veikia daug lėčiau nei GPU: SSH įjungti ir paleisti curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM poreikiai LLaMA priklauso nuo modelio ir partijos dydžio; patikrinkite projekto dokumentus esamiems duomenims.
Kainos GPU bus paskelbtos, kai GPU serveriai bus užsakyti. Jei norite, susisiekite su mumis, kai tai įvyks.
Taip. Kiekvienas VPS.org serveris ateina su visiška root prieiga, todėl jūs galite paleisti kitus įrankius kartu su LLaMA serverio RAM ir saugojimo.
Kiekvienas VPS.org serveris ateina su pilna šaknis SSH prieigą, todėl jūs galite įdiegti tvarkyklės, bibliotekos ir LLaMA, tačiau jums reikia.
Ne. Nėra serverio su CUDA darbo laiku arba NVIDIA tvarkykle, įdiegta, o GPU serveriai dar nėra prieinami užsisakyti. Jūs turite įdiegti versijas LLaMA.
Taip. VPS.org serveriai yra nuolat virtualios mašinos, o ne efemeral incidentai: LLaMA modeliai, konfigūracijos ir duomenys likti ant serverio SSD saugojimo, kol jūs juos ištrinti.
Laikyti serverio SSD darbo duomenis, kad būtų galima greitai pasiekti LLaMA paleidimo metu, ir nukopijuoti baigtus artefaktus (svorius, kartas, įterpimus) į saugojimą išorėje, išorėje, VPS.org; vaizdai ir atsarginės kopijos lieka tame pačiame saugojimo klaselyje.
Galite atnaujinti bet kurį VPS.org serverį į didesnį planą iš valdymo pulto; jo dydis atnaujinamas, o jūsų LLaMA įdiegimas atlieka perėjimus. GPU serverių dar nėra.
Taip. Atsarginės dalys yra apmokamas papildomas (dienos +30% plano kainos, saugomi 7 dienas; kas savaitę +20%, laikomi 28 dienas) ir vaizdai yra nemokamas, tai yra naudinga prieš ilgai LLaMA bėgti. Abu likti ant to paties saugojimo klasterio kaip serveris.
Kontaktinė parama per 30 dienų nuo pirmojo pirkimo prašyti grąžinti. GPU serveriai dar nėra parduodami, todėl nėra GPU užsakymo.
GPU pajėgumas ribotas. Praneškite mums apie savo darbo krūvį ir atsakysime į tai, ar bus galima naudotis ir ar bus nustatyta kaina.