Ons berei GPU bedieners voor met 'n NVIDIA Tesla P40 (24 GB VRAM, Pascal argitektuur) vir die loop van open-bouners soos Llama, Mistral en Gemma met Ollama. GPU bedieners is nog nie ordebaar nie; kontak ons om in kennis gestel te word wanneer hulle is.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Voorbeeld installeer opdrag
Olellama is'n ligte hulpmiddel om groot taalmodelle op jou eie masjien te bestuur.'n GPU-bediener wat die model op die GPU het, loop in plaas van die Sve, wat reaksies baie vinniger maak.
Pigl Llama, Mistral, Gemma, Phi, Qwen en baie ander modelle met een bevel.
Fits 7B to 13B models comfortably and around 30B models when quantized. 70B models do not fit on one 24 GB card at common quantization levels.
Pors en data bly op jou bediener, met geen derde-party API oproepe.
Olellan stel 'n OpenAI-vergelykde eindpunt bloot wat talle bestaande kliënte kan gebruik.
Ollama kan 'n NVIDIA GPU gebruik om sy werk te bespoedig. VPS.org GPU bedieners is nog nie beskikbaar om te bestel nie; kontak ons om te hoor wanneer dit is. Ollama is hoofsaaklik 'n LMMM-inence / geselswerk laai. Jy sal vinnige, lukrake-acce lees van skyf na geheue en genoegRAM vir die model plus venster.
GPU servers are not available to order yet. Today you can run Ollama on a regular CPU plan, where it works far more slowly than on a GPU: SSH in and run curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LMMY se vlak vanferensie VRAM met model parameters:'n 7B - model het ongeveer 5 tot 8 GB van VRAM en'n 13B - model ongeveer 10 tot 14 GB nodig, terwyl 70B-klasmodelle etlike GPU's of swaar kwantisering nodig het.
PUpigting sal gepubliseer word wanneer GPU bedieners bestel kan word. Kontak ons as jy wil hoor wanneer dit gebeur.
Ja. Elke VPS.org bediener kom met volledige root toegang, sodat jy kan hardloop ander gereedskap langs Ollama binne in die bediener se Ram en berging.
Every VPS.org server comes with full root SSH access, so you can install drivers, libraries and Ollama however you need.
Nee. Geen bediener kom met 'n CUDA looptyd of NVIDIA drywer vooraf geinstalleer, en GPU bedieners is nie beskikbaar na orde nog. Jy installeer die weergawes Ollama benodig jouself.
Yes. VPS.org servers are persistent virtual machines, not ephemeral instances: Ollama models, configs and data stay on the server's SSD storage until you delete them.
Hou werk data op die bediener se SSD vir vinnige toegang gedurende Ollama loop, en kopieer voltooide artefakte (gewigte, geslagte, embedings) na stoor buite VPS.org; foto's en terugpakkies bly op dieselfde stoorswerm.
Jy kan enige VPS.org-bediener na 'n groter plan van die beheerpaneel opgradeer; die hervergrooting herbegin dit en jou Ollama installeer vervoer oor. GPU bedieners is nog nie beskikbaar nie.
Ja. Rugsteunte is 'n betaalde byvoegsel (huidy +30% van die planprys, gehou 7 dae; weekliks +20%, gehou 28 dae) en foto's is gratis, wat is bruikbare voor lank Ollama hardloop. Beide bly op dieselfde stoorswerm as die bediener.
Kontaksteun binne 30 dae van jou eerste koop om 'n heroorkop te versoek. GPU bedieners word nog nie verkoop nie, dus is geen GPU-orde daarby betrokke nie.
GPU se vermoë is beperk. Vertel ons van jou werklas en ons sal met beskikbaarheid en prysing antwoord.