Valmistelemme GPU-palvelimia NVIDIA Tesla P40 (24 GB VRAM, Pascal) -ohjelmistolla avoimen lähdekoodin LLM-palvelimia varten, kuten Llama, Mistral ja Gemma, Ollaman kanssa. GPU-palvelimia ei ole vielä tilattavissa, ota yhteyttä, kun ne ovat käytössä.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Esimerkkiasennuskomento
Ollama on kevyt työkalu suurten kielimallien pyörittämiseen omalla koneella. GPU-palvelimella malli toimii GPU:lla eikä suorittimella, mikä tekee vastaukset paljon nopeammin.
Vedä Llama, Mistral, Gemma, Phi, Qwen ja monet muut mallit yhdellä komennolla.
Sopivat 7B-13B-mallit mukavasti ja noin 30B-mallit quantisoituina. 70B-mallit eivät sovi yhteen 24 GB-korttiin tavallisilla kvantisointitasoilla.
Prompts ja data pysyvät palvelimella, ilman kolmannen osapuolen API-puheluita.
Ollama paljastaa OpenAI-yhteensopivan päätetapahtuman, jota monet nykyiset asiakkaat voivat käyttää.
Ollama can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. Ollama is primarily an LLM-inference / chat workload. You will want fast random-access reads from disk to memory and enough VRAM for the model plus context window.
GPU-palvelimia ei ole vielä tilattavissa. Tänään voit ajaa Ollama-suoritinta tavallisella CPU-ohjelmalla, jossa se toimii paljon hitaammin kuin GPU-palvelimella: SSH-ohjausta ja curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3-ohjausta.
LLM-päättely VRAM-vaaka malliparametreilla: 7B-malli tarvitsee noin 5-8 GB VRAM-mallia ja 13B-malli noin 10-14 GB:tä, kun taas 70B-luokan mallit tarvitsevat useita GPU-malleja tai raskaita kvantisointimalleja.
GPU-hinnoittelu julkaistaan, kun GPU-palvelimet voidaan tilata. Ota yhteyttä, jos haluat kuulla, milloin se tapahtuu.
Kyllä. Jokaisessa VPS.org-palvelimessa on täysi juurikäyttö, joten voit käyttää muita työkaluja Ollama-palvelimen RAM-muistin ja tallennustilan rinnalla.
Jokainen VPS.org-palvelin sisältää SSH-järjestelmän, joten voit asentaa ajurit, kirjastot ja Ollama:n, mitä tarvitset.
Ei. Ei serveriä, jossa on CUDA-ajoaika tai NVIDIA-ajuri valmiiksi asennettuna, eikä GPU-palvelimia ole vielä tilattavissa. Asennat versiot Ollama, joita tarvitset itse.
Kyllä. VPS.org-palvelimet ovat pysyviä virtuaalisia koneita, eivät ohimeneviä tapauksia: Ollama-malleja, konfiguraatioita ja dataa säilytetään palvelimen SSD-tallennustilassa, kunnes ne poistetaan.
Jatka palvelimen SSD-tietojen käsittelyä, jotta pääset nopeasti käsiksi Ollama-ajojen aikana, ja kopioi valmiita esineitä (painoja, sukupolvia, upotuksia) VPS.org-järjestelmän ulkopuolelle; kuvakaappaukset ja varmuuskopiot pysyvät samassa tallennusjoukossa.
Voit päivittää minkä tahansa VPS.org-palvelimen suuremmaksi suunnitelmaksi ohjauspaneelista; kokomuutos käynnistää sen uudelleen ja Ollama-asennussarjasi siirtyy eteenpäin. GPU-palvelimia ei ole vielä saatavilla.
Kyllä. Apujoukot ovat maksullinen lisäosa (päivittäin +30 % suunnitelman hinnasta, pidetään 7 päivää; viikoittain +20 %, pidetään 28 päivää) ja kuvakaappaukset ovat ilmaisia, mikä on hyödyllistä ennen kuin Ollama kulkee. Molemmat pysyvät samassa säilytysjoukossa kuin palvelin.
Ota yhteyttä tukeen 30 päivän kuluessa ensimmäisestä ostoksestasi. GPU-palvelimia ei ole vielä myyty, joten GPU-tilaus ei ole mukana.
GPU:n kapasiteetti on rajallinen. Kerro työmäärästäsi, niin vastaamme hintaan ja käytettävyyteen.