Við erum að undirbúa GPU netþjóna með NVIDIA Tesla P40 (24 GB VRAM, Pascal arkitektúr) til að keyra opinn uppspretta LLMs eins og Llama, Mistral og Gemma með Ollama.GPU netþjónar eru ekki pantað enn; Hafðu samband við okkur til að fá tilkynningu þegar þeir eru.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Dæmi um uppsetningarskipun
Ollama er léttvægt tól til að keyra stór tungumálalíkön á eigin vél. Á GPU-miðlara keyrir líkanið á GPU í stað CPU, sem gerir svör miklu hraðar.
Dragðu Llama, Mistral, Gemma, Phi, Qwen og margar aðrar gerðir með einni skipun.
Passar 7B til 13B módel þægilega og í kringum 30B módel þegar magngreind.70B módel passa ekki á einn 24 GB kort á algengum magngreiningarstigum.
Kveikja og gögn eru á miðlara þínum, án API símtala þriðja aðila.
Ollama afhjúpar OpenAI-samhæft endapunkt sem margir núverandi viðskiptavinir geta notað.
Ollama getur notað NVIDIA GPU til að flýta fyrir vinnu sinni. VPS.org GPU netþjónar eru ekki í boði til að panta enn; hafðu samband við okkur til að heyra þegar þeir eru. Ollama er fyrst og fremst LLM-ályktun / spjall vinnuálag. Þú vilt fljótur random-aðgangur lestur frá disk til minni og nóg VRAM fyrir líkanið auk samhengi glugga.
GPU netþjónar eru ekki í boði til að panta ennþá.Í dag er hægt að keyra Ollama á venjulegum CPU áætlun, þar sem það virkar miklu hægar en á GPU: SSH inn og keyra curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM ályktun VRAM mælir með líkan breytur: 7B líkan þarf um það bil 5 til 8 GB af VRAM og 13B líkan um það bil 10 til 14 GB, en 70B-flokkur módel þurfa nokkra GPU eða þungt magn.
GPU verð verður birt þegar GPU netþjóna er hægt að panta.Hafðu samband við okkur ef þú vilt heyra þegar það gerist.
Hver VPS.org miðlari kemur með fullri rót aðgang, þannig að þú getur keyrt önnur verkfæri ásamt Ollama innan RAM og geymslu miðlara.
Sérhver VPS.org miðlari kemur með fullri rót SSH aðgang, svo þú getur sett upp ökumenn, bókasafn og Ollama þó þú þarft.
Nei, enginn miðlari kemur með CUDA runtime eða NVIDIA bílstjóri fyrirfram uppsett, og GPU netþjónar eru ekki í boði til að panta ennþá. Þú setur upp útgáfurnar Ollama þarf sjálfur.
Já. VPS.org netþjónar eru viðvarandi sýndarvélar, ekki tímabundnar tilvik: Ollama módel, stillingar og gögn eru á SSD geymslu miðlara þar til þú eyðir þeim.
Haltu vinnugögnum á SSD miðlara fyrir fljótur aðgang á Ollama hlaupum og afritaðu lokið artifacts (þyngd, kynslóðir, embeddings) til geymslu utan VPS.org; snapshots og öryggisafrit eru á sama geymsluþyrpingu.
Þú getur uppfært hvaða VPS.org miðlara sem er í stærri áætlun frá stjórnborðinu; endurstækkunin endurræsir það og Ollama uppsetningin þín berst yfir. GPU miðlarar eru ekki tiltækar ennþá.
Já. Backups eru greidd viðbót (daglega + 30% af áætlun verð, haldið 7 daga; vikulega + 20%, haldið 28 daga) og snapshots eru ókeypis, sem er gagnlegt fyrir langa Ollama hlaupa. Bæði vera á sama geymslu klasa sem miðlara.
Hafðu samband við stuðning innan 30 daga frá fyrstu kaupum til að biðja um endurgreiðslu.GPU netþjónar eru ekki seldar ennþá, þannig að engin GPU pöntun er í boði.
GPU getu er takmörkuð.Segðu okkur um vinnuálag þitt og við munum svara með framboð og verðlagningu.