Self-host Meta's Llama modelo sa isang NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture). Naka-angkop sa 8B modelo sa buong katumpakan at mas malaki modelo kapag quantized. GPU server ay hindi orderable pa; makipag-ugnay sa amin upang ma-notify kapag sila ay.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Halimbawa ng pag-install ng utos
Ang Llama ay pamilya ng Meta ng bukas na magagamit na malalaking modelo ng wika. Ang pagpapatakbo ng Llama sa iyong sariling GPU server ay pinapanatili ang mga prompt at data na pribado.
Runs 8B models on 24 GB of VRAM. 70B models do not fit on a single 24 GB card at common quantization levels.
Ang iyong mga prompt at data manatili sa iyong server, na walang third-party API tawag.
Ang mga ito ay kinabibilangan ng mga selula ng dugo, mga selula ng utak, at mga selula ng mga tisyu.
Ang mga modelong ito ay maaaring i-serve sa Ollama o sa server na llama.cpp para sa isang OpenAI-compatible na endpoint.
LLaMA ay maaaring gamitin ang isang NVIDIA GPU upang mapabilis ang trabaho nito. VPS.org GPU server ay hindi magagamit upang mag-order pa; makipag-ugnay sa amin upang marinig kapag sila ay. LLaMA ay isang pangkalahatang GPU-accelerated workload. Siguraduhin na ang iyong software ay may CUDA suporta at na ang iyong driver / runtime bersyon magkasya ang mga kinakailangan ng workload para sa LLaMA.
Ang mga server ng GPU ay hindi pa magagamit para sa pag-order. Ngayon maaari mong patakbuhin LLaMA sa isang regular na plano ng CPU, kung saan ito ay gumagana malayo mas mabagal kaysa sa isang GPU: SSH sa at patakbuhin curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM pangangailangan para sa LLaMA depende sa modelo at laki ng batch; suriin ang proyekto ng dokumentasyon para sa kasalukuyang mga numero.
GPU pricing ay nai-publish kapag GPU server ay maaaring iniutos. Makipag-ugnay sa amin kung nais mong marinig kapag na nangyayari.
Ang bawat server VPS.org ay may buong root access, kaya maaari mong patakbuhin ang iba pang mga tool kasama LLaMA sa loob ng RAM at imbakan ng server.
Ang bawat server VPS.org ay may buong root SSH access, kaya maaari mong i-install ang mga driver, mga aklatan at LLaMA gayunpaman kailangan mo.
Hindi. Walang server ay dumating na may isang CUDA runtime o NVIDIA driver pre-install, at GPU server ay hindi magagamit upang mag-order pa. I-install mo ang mga bersyon LLaMA kailangan ang iyong sarili.
Ang mga server na VPS.org ay mga matiyagang virtual machine, hindi mga pansamantalang halimbawa: mga modelo ng LLaMA, mga configuration at data na mananatili sa SSD storage ng server hanggang sa tanggalin mo ang mga ito.
Keep working data on the server's SSD for fast access during LLaMA runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Maaari mong i-upgrade ang anumang VPS.org server sa isang mas malaking plano mula sa control panel; ang resize restarts ito at ang iyong LLaMA i-install ay nagdadala sa paglipas ng. GPU server ay hindi pa magagamit.
Oo. Backup ay isang bayad na add-on (araw-araw +30% ng presyo ng plano, pinananatili7araw; lingguhang +20%, pinananatili 28 araw) at snapshots ay libre, na kung saan ay kapaki-pakinabang bago ang mahabang LLaMA tumatakbo. Parehong manatili sa parehong cluster ng imbakan bilang ang server.
Makipag-ugnay sa suporta sa loob ng 30 araw ng iyong unang pagbili upang humiling ng isang refund. GPU server ay hindi nabili pa, kaya walang GPU order ay kasangkot.
GPU kapasidad ay limitado. Sabihin sa amin tungkol sa iyong workload at kami ay tumugon sa availability at pricing.