Бид NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture)-тай GPU серверүүдийг Llama, Mistral, Gemma зэрэг нээлттэй эхийн LLM-ийг Ollama-тай хамт ажиллуулахад бэлтгэж байна. GPU серверүүд одоогоор захиалах боломжгүй байна. Хэрэв захиалах боломжгүй бол бидэнтэй холбоо барина уу.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Жишээ суурилуулах команд
Ollama нь таны компьютер дээр том хэлний загваруудыг ажиллуулах хялбар хэрэгсэл юм. График процессор сервер дээр загвар нь CPU- ийн оронд График процессор дээр ажилладаг бөгөөд энэ нь хариултыг илүү хурдан болгодог.
Лама, Мистрал, Жемма, Фи, Квен болон бусад загваруудыг нэг командаар татах.
7B- 13B загварууд болон квантжуулахад 30B загварууд тохирно. 70B загварууд нь 24GB карт дээр нийцэхгүй.
Хариулт болон мэдээллийг сервер дээр үлдээж, гуравдагч этгээдийн API дуудлага хийхгүй.
Ollama нь олон хэрэглэгч ашиглаж болох OpenAI-тай нийцсэн эцсийн цэгүүдийг дэлгэдэг.
Ollama нь NVIDIA график процессор ашиглан ажлын хурдыг нэмэгдүүлэх боломжтой. VPS.org график серверүүд одоогоор захиалах боломжгүй байна. Хэрэв захиалах боломжтой бол бидэнтэй холбоо барина уу. Ollama нь LLM-ийн дүгнэлт / ярианы ажлын ачаалал юм. Та дискнээс санах ой руу хурдан random-access уншлага, загвар болон контекст цонхны VRAM-ийг шаардана.
ГПХ серверүүд одоогоор захиалах боломжгүй байна. Одоо та Ollama-ийг GPU-оос хамаагүй удаан ажилладаг зүгээр л CPU-ийн төлөвлөгөөнд ашиглаж болно: SSH-ээр орж curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3-ийг ажиллуулна.
LLM-ийн дүгнэлт VRAM-ийг загвар параметрүүдтэй харьцуулж үзвэл: 7B загварт 5-8 GB VRAM, 13B загварт 10-14 GB, 70B-ийн ангид хэд хэдэн GPU эсвэл хүчтэй квантжуулалт шаардлагатай.
ГП серверүүд захиалагдсан үед ГП-ийн үнэлгээний мэдээллийг нийтлүүлнэ. Хэрэв та энэ мэдээллийг авахыг хүсвэл бидэнтэй холбоо барина уу.
Тийм. Бүх VPS.org серверүүд root эрхтэй байдаг, ингэснээр та серверийн RAM болон хадгалах санд Ollama-тэй хамт бусад хэрэгслийг ажиллуулж болно.
Бүх VPS.org серверүүд root SSH-ийн бүрэн эрхтэй байдаг, ингэснээр та драйвер, сан болон Ollama-ийг өөрийн хэрэгцээнд тохируулан суулгаж болно.
Үгүй. CUDA-ийн гүйцэтгэх хугацаа эсвэл NVIDIA-ийн драйвер суулгасан сервер байхгүй, мөн GPU серверүүд одоогоор захиалах боломжгүй байна. Та Ollama-ийн шаардлагатай хувилбаруудыг өөрсдөө суулгах хэрэгтэй.
Тийм ээ. VPS.org серверүүд нь тогтвортой виртуал машинууд, нэн ховор тохиолдол биш: Ollama загварууд, тохиргоо, мэдээллийг устгахгүй бол серверийн SSD хадгалах газарт үлдэнэ.
Keep working data on the server's SSD for fast access during Ollama runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Та зVPS.org серверийг удирдлагын самбараас илүү том төлөвлөгөөнд шинэчилж болно. хэмжээг өөрчлөхөд дахин эхлүүлж, Ollama суулгалтыг хадгална. ГПҮ серверүүд одоогоор байхгүй.
Тийм ээ. Нууцлалын нөөц нь төлбөртэй нэмэлт (өдөр бүр +30% төлөвлөгөөний үнэ, 7хоногийн турш хадгална; долоо хоног бүр +20%, 28хоногийн турш хадгална) ба зураг нь үнэгүй, Ollama удаан ажиллахаас өмнө тохиромжтой. Хоёр нь сервертэй ижил хадгалах кластерт үлдэнэ.
Эхний худалдан авалтаас хойш 30 хоногийн дотор дэмжлэгт хандаж буцаан олголт авахыг хүснэ. ГПҮ серверүүд одоогоор зарагдаагүй байгаа тул ГПҮ захиалга байхгүй.
График процессорын хүчин чадал хязгаарлагдсан. Таны ажлын ачаалал, боломжит үнэ, үнэлгээний талаар бидэнд мэдэгдээрэй.