Sjálfvirkar Meta's Llama líkan á NVIDIA Tesla P40 (24 GB VRAM, Pascal arkitektúr). Hentar 8B líkan í fullri nákvæmni og stærri líkan þegar kvantized. GPU þjóna er ekki hægt að panta enn; hafðu samband við okkur til að fá tilkynningu þegar þeir eru.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Dæmi um uppsetningarskipun
Llama er fjölskylda Meta af opinberlega fáanlegum stórum tungumálalíkönum. Að keyra Llama á eigin GPU-þjóni heldur kveikjunum og gögnum einka.
Keyrir 8B módel á 24 GB af VRAM.70B módel passa ekki á einn 24 GB kort á algengum magnþéttni stigum.
Kveikjur þínar og gögn eru á netþjóninum þínum, án API símtala þriðja aðila.
Notaðu GGUF með llama.cpp eða Ollama, eða innfæddur PyTorch þyngd.
Þjónaðu módel með Ollama eða llama.cpp miðlara fyrir OpenAI-samhæfa endapunkt.
LLaMA getur notað NVIDIA GPU til að flýta fyrir vinnu sinni. VPS.org GPU netþjónar eru ekki í boði til pöntunar enn; hafðu samband við okkur til að heyra hvenær þeir eru. LLaMA er almennt GPU-hraðvirkt vinnuálag. Gakktu úr skugga um að hugbúnaðurinn þinn hafi CUDA stuðning og að rekill / keyrslutímaútgáfur þínar samsvari vinnuálagskröfum fyrir LLaMA.
GPU netþjónar eru ekki í boði til að panta ennþá.Í dag er hægt að keyra LLaMA á venjulegum CPU áætlun, þar sem það virkar miklu hægar en á GPU: SSH inn og keyra curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM þarfir fyrir LLaMA fer eftir líkani og lotu stærð; athuga verkefnið skjöl fyrir núverandi tölur.
GPU verð verður birt þegar GPU netþjóna er hægt að panta.Hafðu samband við okkur ef þú vilt heyra þegar það gerist.
Hver VPS.org miðlari kemur með fullri rót aðgang, þannig að þú getur keyrt önnur verkfæri ásamt LLaMA innan RAM og geymslu miðlara.
Sérhver VPS.org miðlari kemur með fullri rót SSH aðgang, svo þú getur sett upp ökumenn, bókasafn og LLaMA þó þú þarft.
Nei, enginn miðlari kemur með CUDA runtime eða NVIDIA bílstjóri fyrirfram uppsett, og GPU netþjónar eru ekki í boði til að panta ennþá. Þú setur upp útgáfurnar LLaMA þarf sjálfur.
Já. VPS.org netþjónar eru viðvarandi sýndarvélar, ekki tímabundnar tilvik: LLaMA módel, stillingar og gögn eru á SSD geymslu miðlara þar til þú eyðir þeim.
Haltu vinnugögnum á SSD miðlara fyrir fljótur aðgang á LLaMA hlaupum og afritaðu lokið artifacts (þyngd, kynslóðir, embeddings) til geymslu utan VPS.org; snapshots og öryggisafrit eru á sama geymsluþyrpingu.
Þú getur uppfært hvaða VPS.org miðlara sem er í stærri áætlun frá stjórnborðinu; endurstækkunin endurræsir það og LLaMA uppsetningin þín berst yfir. GPU miðlarar eru ekki tiltækar ennþá.
Já. Backups eru greidd viðbót (daglega + 30% af áætlun verð, haldið 7 daga; vikulega + 20%, haldið 28 daga) og snapshots eru ókeypis, sem er gagnlegt fyrir langa LLaMA hlaupa. Bæði vera á sama geymslu klasa sem miðlara.
Hafðu samband við stuðning innan 30 daga frá fyrstu kaupum til að biðja um endurgreiðslu.GPU netþjónar eru ekki seldar ennþá, þannig að engin GPU pöntun er í boði.
GPU getu er takmörkuð.Segðu okkur um vinnuálag þitt og við munum svara með framboð og verðlagningu.