Tulekul: NVIDIA Tesla P40, 24 GB VRAM

Ollama käivitamine GPU VPS-iga

Valmistame GPU servereid NVIDIA Tesla P40 (24 GB VRAM, Pascal arhitektuur), et käivitada avatud lähtekoodiga LLM-e, nagu Llama, Mistral ja Gemma koos Ollamaga. GPU serverid ei ole veel tellitavad; võtke meiega ühendust, et neist teatada, kui need on.

$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Näide.

Mis on {nimi} GPU VPS?

Ollama on kerge tööriist suurte keelemudelite töötamiseks oma masinas. GPU serveris töötab mudel protsessori asemel GPU-s, mis teeb vastused palju kiiremaks.

Ollama VPS.org GPU serveris

Avatud lähtekoodiga mudelid

Tõmba Llamat, Mistralit, Gemmat, Phit, Qwenit ja paljusid teisi ühe käsuga modelle.

24 GB VRAM

Sobib 7B kuni 13B mudelid mugavalt ja umbes 30B mudelid, kui quantized. 70B mudelid ei sobi ühele 24 GB kaardi ühisel kvantiseerimise tasemel.

Privaatne

Prompts ja andmed jääda oma serverisse, ilma kolmanda osapoole API kõned.

OpenAI- ga ühilduvad API

Ollama paljastab OpenAI-ga ühilduva tulemusnäitaja, mida paljud olemasolevad kliendid saavad kasutada.

Populaarsed {nimi} Kasutamisjuhud

Privaatne vestlusGPT alternatiiv
AI-ajamiga sisetööriistad
Regionaalabi rakendused
Koodi genereerimise API-d
Sisu loomise torujuhtmed
Chatboti taustaprogrammid

Planeeritud GPU spetsifikatsioonid

GPUNVIDIA Tesla P40
VRAM24 GB GDDR5
CUDA tuumad3,840
FP3212 TFLOPS
INT847 TOPS
Mälu BW346 GB/s
ArhitektuurPascal (GP102)
LäbisõitPCIe läbimine

Korduma kippuvad küsimused

Mis on Ollama GPU VPS?

+

Ollama saab kasutada NVIDIA GPU kiirendada oma tööd. VPS.org GPU serverid ei ole võimalik tellida veel; võtke meiega kuulda, kui nad on. Ollama on peamiselt LLM-iference / jututöö. Soovite kiire juhusliku juurdepääsu loeb ketta mälu ja piisavalt VRAM mudeli pluss konteksti aken.

Kuidas luua Ollama GPU VPS?

+

GPU serverid ei ole veel tellitavad. Täna saab käivitada Ollama tavalise CPU plaani, kus see töötab palju aeglasemalt kui GPU: SSH sisse ja käivitada curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.

Kui palju VRAM-i ma Ollama jaoks vajan?

+

LLM järeldus VRAM kaalud mudeli parameetrid: 7B mudel vajab umbes 5-8 GB VRAM ja 13B mudel umbes 10-14 GB, samas 70B klassi mudelid vajavad mitmeid GPU või raske quantization.

Kui palju GPU server Ollama maksab?

+

GPU hinnakujundus avaldatakse, kui GPU servereid saab tellida. Kui soovid seda kuulda, võta meiega ühendust.

Kas ma võin kasutada teisi tööriistu koos Ollama-ga?

+

Jah. Iga VPS.org server kaasas täielik administraatori juurdepääsu, nii et saate käivitada muid tööriistu kõrval Ollama jooksul serveri RAM ja ladustamise.

Kas ma saan täis juured Ollama GPU VPS?

+

Iga VPS.org server kaasas täielik root SSH juurdepääsu, nii et saate paigaldada draiverid, teekid ja Ollama, kui vaja.

Kas VPS.org eelinstalleerib CUDA Ollama jaoks?

+

Ei. Ükski server ei ole CUDA või NVIDIA draiver eelnevalt paigaldatud ja GPU serverid ei ole veel saadaval tellida. Paigaldate versioonid Ollama vajab ise.

Kas minu Ollama GPU VPS püsib istungite vahel?

+

Jah. VPS.org serverid on püsivad virtuaalsed masinad, mitte efemeraalsed juhtumid: Ollama mudelid, seadistused ja andmed jäävad serveri SSD-mälusse kuni sa need kustutad.

Kus ma peaksin oma Ollama töökoormuse kohta andmeid hoidma?

+

Säilitage tööandmed serveri SSD kiireks juurdepääsuks ajal Ollama jookseb, ja kopeerige valmis esemeid (kaalud, põlvkonnad, kinnispostid) ladustamise väljaspool VPS.org; pilte ja varukoopiaid jääda sama ladustamise klastri.

Kas ma võin oma Ollama GPU VPS-i hiljem skaleerida?

+

Saate uuendada mis tahes VPS.org server suurema plaani juhtpaneel; suuruse muutmise taaskäivitab ja oma Ollama install kannab üle. GPU serverid ei ole veel saadaval.

Kas varukoopiad on saadaval minu GPU VPS- i jaoks?

+

Jah. Varukoopiad on tasuline lisaväärtus (iga päev +30% plaani hinnast, hoitakse 7 päeva; nädalas +20%, hoitakse 28 päeva) ja pildid on tasuta, mis on kasulik enne pikka Ollama töötab. Mõlemad jäävad samasse salvestusklastrisse kui server.

Kas ma saaksin raha tagasi?

+

Kontakt toetus 30 päeva jooksul oma esimese ostu taotleda toetust. GPU serverid ei ole veel müüdud, nii et ükski GPU tellimus on kaasatud.

Kas käivitada Ollama GPU serveris?

GPU võimsus on piiratud. Rääkige meile oma töökoormusest ja me vastame kättesaadavuse ja hinnastamisega.