NVIDIA Tesla P40 (24GB VRAM, Pascal architecture) дээрх Meta-ийн Llama загварыг өөрийн сервер дээр байршуулах. 8B загварт бүрэн нарийвчлалтай, квантжуулсан үед том загварт тохирно. ГПҮ серверүүд одоогоор захиалах боломжгүй байна. Хэрэв захиалах боломжгүй бол бидэнтэй холбоо барина уу.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Жишээ суурилуулах команд
Лама нь Мета-гийн нээлттэй өргөн хэлний загваруудын гэр бүл юм. Лама-г өөрийн график сервер дээр ажиллуулах нь асуулт, мэдээллийг нууц байлгадаг.
8B загварыг 24 ГБ VRAM дээр ажиллуулна. 70B загвар нь 24 ГБ картанд багтахгүй.
Таны асуулт, мэдээллийг сервер дээр үлдээж, гуравдагч этгээдийн API дуудлага хийхгүй.
GGUF-ийг llama.cpp, Ollama, эсвэл PyTorch-ийн жинтэй хамт ашиглана.
Оллама эсвэл llama.cpp серверээр OpenAI-тай нийцсэн төгсгөлийн цэгт загваруудыг хүргэх.
LLaMA нь NVIDIA график процессор ашиглан ажлын хурдыг нэмэгдүүлэх боломжтой. VPS.org график серверүүд одоогоор захиалах боломжгүй; хэзээ захиалах боломжтой болохыг бидэнтэй холбоо барина уу. LLaMA нь ерөнхий график процессороор хурдасгасан ажлын ачаалал юм. Таны програм хангамж CUDA дэмжлэгтэй, таны драйвер/ үйлдлийн системийн хувилбарууд LLaMA-ийн шаардлагыг хангаж байгаа эсэхийг шалгана уу.
ГПХ серверүүд одоогоор захиалах боломжгүй байна. Одоо та LLaMA-ийг GPU-оос хамаагүй удаан ажилладаг зүгээр л CPU-ийн төлөвлөгөөнд ашиглаж болно: SSH-ээр орж curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3-ийг ажиллуулна.
LLaMA-ийн VRAM-ийн хэрэгцээ загвар болон багцын хэмжээнээс хамаарна. Одоогийн тоонууд төслийн баримт бичгээс үзнэ үү.
ГП серверүүд захиалагдсан үед ГП-ийн үнэлгээний мэдээллийг нийтлүүлнэ. Хэрэв та энэ мэдээллийг авахыг хүсвэл бидэнтэй холбоо барина уу.
Тийм. Бүх VPS.org серверүүд root эрхтэй байдаг, ингэснээр та серверийн RAM болон хадгалах санд LLaMA-тэй хамт бусад хэрэгслийг ажиллуулж болно.
Бүх VPS.org серверүүд root SSH-ийн бүрэн эрхтэй байдаг, ингэснээр та драйвер, сан болон LLaMA-ийг өөрийн хэрэгцээнд тохируулан суулгаж болно.
Үгүй. CUDA-ийн гүйцэтгэх хугацаа эсвэл NVIDIA-ийн драйвер суулгасан сервер байхгүй, мөн GPU серверүүд одоогоор захиалах боломжгүй байна. Та LLaMA-ийн шаардлагатай хувилбаруудыг өөрсдөө суулгах хэрэгтэй.
Тийм ээ. VPS.org серверүүд нь тогтвортой виртуал машинууд, нэн ховор тохиолдол биш: LLaMA загварууд, тохиргоо, мэдээллийг устгахгүй бол серверийн SSD хадгалах газарт үлдэнэ.
Keep working data on the server's SSD for fast access during LLaMA runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Та зVPS.org серверийг удирдлагын самбараас илүү том төлөвлөгөөнд шинэчилж болно. хэмжээг өөрчлөхөд дахин эхлүүлж, LLaMA суулгалтыг хадгална. ГПҮ серверүүд одоогоор байхгүй.
Тийм ээ. Нууцлалын нөөц нь төлбөртэй нэмэлт (өдөр бүр +30% төлөвлөгөөний үнэ, 7хоногийн турш хадгална; долоо хоног бүр +20%, 28хоногийн турш хадгална) ба зураг нь үнэгүй, LLaMA удаан ажиллахаас өмнө тохиромжтой. Хоёр нь сервертэй ижил хадгалах кластерт үлдэнэ.
Эхний худалдан авалтаас хойш 30 хоногийн дотор дэмжлэгт хандаж буцаан олголт авахыг хүснэ. ГПҮ серверүүд одоогоор зарагдаагүй байгаа тул ГПҮ захиалга байхгүй.
График процессорын хүчин чадал хязгаарлагдсан. Таны ажлын ачаалал, боломжит үнэ, үнэлгээний талаар бидэнд мэдэгдээрэй.