Valmistame GPU servereid NVIDIA Tesla P40 (24 GB VRAM, Pascal arhitektuur), et käivitada avatud lähtekoodiga LLM-e, nagu Llama, Mistral ja Gemma koos Ollamaga. GPU serverid ei ole veel tellitavad; võtke meiega ühendust, et neist teatada, kui need on.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Näide.
Ollama on kerge tööriist suurte keelemudelite töötamiseks oma masinas. GPU serveris töötab mudel protsessori asemel GPU-s, mis teeb vastused palju kiiremaks.
Tõmba Llamat, Mistralit, Gemmat, Phit, Qwenit ja paljusid teisi ühe käsuga modelle.
Sobib 7B kuni 13B mudelid mugavalt ja umbes 30B mudelid, kui quantized. 70B mudelid ei sobi ühele 24 GB kaardi ühisel kvantiseerimise tasemel.
Prompts ja andmed jääda oma serverisse, ilma kolmanda osapoole API kõned.
Ollama paljastab OpenAI-ga ühilduva tulemusnäitaja, mida paljud olemasolevad kliendid saavad kasutada.
Ollama saab kasutada NVIDIA GPU kiirendada oma tööd. VPS.org GPU serverid ei ole võimalik tellida veel; võtke meiega kuulda, kui nad on. Ollama on peamiselt LLM-iference / jututöö. Soovite kiire juhusliku juurdepääsu loeb ketta mälu ja piisavalt VRAM mudeli pluss konteksti aken.
GPU serverid ei ole veel tellitavad. Täna saab käivitada Ollama tavalise CPU plaani, kus see töötab palju aeglasemalt kui GPU: SSH sisse ja käivitada curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM järeldus VRAM kaalud mudeli parameetrid: 7B mudel vajab umbes 5-8 GB VRAM ja 13B mudel umbes 10-14 GB, samas 70B klassi mudelid vajavad mitmeid GPU või raske quantization.
GPU hinnakujundus avaldatakse, kui GPU servereid saab tellida. Kui soovid seda kuulda, võta meiega ühendust.
Jah. Iga VPS.org server kaasas täielik administraatori juurdepääsu, nii et saate käivitada muid tööriistu kõrval Ollama jooksul serveri RAM ja ladustamise.
Iga VPS.org server kaasas täielik root SSH juurdepääsu, nii et saate paigaldada draiverid, teekid ja Ollama, kui vaja.
Ei. Ükski server ei ole CUDA või NVIDIA draiver eelnevalt paigaldatud ja GPU serverid ei ole veel saadaval tellida. Paigaldate versioonid Ollama vajab ise.
Jah. VPS.org serverid on püsivad virtuaalsed masinad, mitte efemeraalsed juhtumid: Ollama mudelid, seadistused ja andmed jäävad serveri SSD-mälusse kuni sa need kustutad.
Säilitage tööandmed serveri SSD kiireks juurdepääsuks ajal Ollama jookseb, ja kopeerige valmis esemeid (kaalud, põlvkonnad, kinnispostid) ladustamise väljaspool VPS.org; pilte ja varukoopiaid jääda sama ladustamise klastri.
Saate uuendada mis tahes VPS.org server suurema plaani juhtpaneel; suuruse muutmise taaskäivitab ja oma Ollama install kannab üle. GPU serverid ei ole veel saadaval.
Jah. Varukoopiad on tasuline lisaväärtus (iga päev +30% plaani hinnast, hoitakse 7 päeva; nädalas +20%, hoitakse 28 päeva) ja pildid on tasuta, mis on kasulik enne pikka Ollama töötab. Mõlemad jäävad samasse salvestusklastrisse kui server.
Kontakt toetus 30 päeva jooksul oma esimese ostu taotleda toetust. GPU serverid ei ole veel müüdud, nii et ükski GPU tellimus on kaasatud.
GPU võimsus on piiratud. Rääkige meile oma töökoormusest ja me vastame kättesaadavuse ja hinnastamisega.