Naghahanda kami ng mga GPU server na may NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) para sa pagpapatakbo ng mga open-source LLM tulad ng Llama, Mistral at Gemma na may Ollama. Ang mga GPU server ay hindi pa na-order; makipag-ugnay sa amin upang ma-notify kapag sila ay.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Halimbawa ng pag-install ng utos
Ollama ay isang lightweight tool para sa pagpapatakbo ng malaking modelo ng wika sa iyong sariling machine. Sa isang GPU server ang modelo ay tumatakbo sa GPU sa halip ng CPU, na kung saan ay gumagawa ng mga tugon mas mabilis.
I-drag Llama, Mistral, Gemma, Phi, Qwen at maraming iba pang mga modelo na may isang utos.
Fits 7B sa 13B modelo komportable at sa paligid ng 30B modelo kapag quantized. 70B modelo ay hindi magkasya sa isang 24 GB card sa karaniwang mga antas ng quantization.
Prompt at data manatili sa iyong server, na walang third-party API tawag.
Ang mga ito ay maaaring maging isang karaniwang halimbawa ng mga karaniwang mga katangian ng mga selula.
Ollama ay maaaring gamitin ang isang NVIDIA GPU upang mapabilis ang trabaho nito. VPS.org GPU server ay hindi magagamit upang mag-order pa; makipag-ugnay sa amin upang marinig kapag sila ay. Ollama ay pangunahing isang LLM-pagpapalagay / chat workload. Gusto mo mabilis random-access basahin mula sa disk sa memorya at sapat na VRAM para sa modelo pati na rin ang konteksto window.
Ang mga server ng GPU ay hindi pa magagamit para sa pag-order. Ngayon maaari mong patakbuhin Ollama sa isang regular na plano ng CPU, kung saan ito ay gumagana malayo mas mabagal kaysa sa isang GPU: SSH sa at patakbuhin curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Ang mga modelong 7B ay nangangailangan ng humigit-kumulang na5hanggang 8 GB ng VRAM at ang mga modelong 13B ay humigit-kumulang na 10 hanggang 14 GB, habang ang mga modelong 70B ay nangangailangan ng ilang mga GPU o mabigat na quantum.
GPU pricing ay nai-publish kapag GPU server ay maaaring iniutos. Makipag-ugnay sa amin kung nais mong marinig kapag na nangyayari.
Ang bawat server VPS.org ay may buong root access, kaya maaari mong patakbuhin ang iba pang mga tool kasama Ollama sa loob ng RAM at imbakan ng server.
Ang bawat server VPS.org ay may buong root SSH access, kaya maaari mong i-install ang mga driver, mga aklatan at Ollama gayunpaman kailangan mo.
Hindi. Walang server ay dumating na may isang CUDA runtime o NVIDIA driver pre-install, at GPU server ay hindi magagamit upang mag-order pa. I-install mo ang mga bersyon Ollama kailangan ang iyong sarili.
Ang mga server na VPS.org ay mga matiyagang virtual machine, hindi mga pansamantalang halimbawa: mga modelo ng Ollama, mga configuration at data na mananatili sa SSD storage ng server hanggang sa tanggalin mo ang mga ito.
Keep working data on the server's SSD for fast access during Ollama runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Maaari mong i-upgrade ang anumang VPS.org server sa isang mas malaking plano mula sa control panel; ang resize restarts ito at ang iyong Ollama i-install ay nagdadala sa paglipas ng. GPU server ay hindi pa magagamit.
Oo. Backup ay isang bayad na add-on (araw-araw +30% ng presyo ng plano, pinananatili7araw; lingguhang +20%, pinananatili 28 araw) at snapshots ay libre, na kung saan ay kapaki-pakinabang bago ang mahabang Ollama tumatakbo. Parehong manatili sa parehong cluster ng imbakan bilang ang server.
Makipag-ugnay sa suporta sa loob ng 30 araw ng iyong unang pagbili upang humiling ng isang refund. GPU server ay hindi nabili pa, kaya walang GPU order ay kasangkot.
GPU kapasidad ay limitado. Sabihin sa amin tungkol sa iyong workload at kami ay tumugon sa availability at pricing.