ພວກເຮົາກໍາລັງກະກຽມເຄື່ອງແມ່ຂ່າຍ GPU ທີ່ມີ NVIDIA Tesla P40 (24 GB VRAM, ສະຖາປັດຕະຍະກໍາ Pascal) ເພື່ອປະຕິບັດ LLMs ເປີດແຫຼ່ງເຊັ່ນ: Llama, Mistral ແລະ Gemma ກັບ Ollama. ម៉ាស៊ីនເມົາ GPU ຍັງບໍ່ທັນໄດ້ສັ່ງຊື້; ຕິດຕໍ່ພວກເຮົາເພື່ອແຈ້ງໃຫ້ພວກເຮົາຮູ້ວ່າພວກເຂົາແມ່ນ.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# ຄໍາສັ່ງຕິດຕັ້ງຕົວຢ່າງ
Ollama ແມ່ນເຄື່ອງມືທີ່ເບົາເພື່ອຂັບແບບພາສາໃຫຍ່ໃນເຄື່ອງຂອງທ່ານເອງ. ໃນເຄື່ອງເຊີຟເວີ GPU ແບບຈະຂັບຢູ່ໃນ GPU ແທນທີ່ຈະຢູ່ໃນ CPU, ເຊິ່ງຈະເຮັດໃຫ້ການຕອບຮັບໄວຂຶ້ນຫຼາຍ.
ດຶງ Llama, Mistral, Gemma, Phi, Qwen ແລະ ແບບອື່ນໆຫຼາຍຢ່າງດ້ວຍຄໍາສັ່ງດຽວ.
Fits 7B to 13B models comfortably and around 30B models when quantized. 70B models do not fit on one 24 GB card at common quantization levels.
ຄໍາຖາມ ແລະ ຂໍ້ມູນຈະຢູ່ເທິງເຊີບເວີຂອງທ່ານ, ໂດຍບໍ່ມີການໂທ API ຂອງພາກສ່ວນທີສາມ.
Ollama ເປີດເຜີຍຈຸດສຸດທ້າຍທີ່ເຂົ້າກັນໄດ້ກັບ OpenAI ທີ່ລູກຄ້າຫຼາຍຄົນທີ່ມີຢູ່ສາມາດໃຊ້ໄດ້.
Ollama ສາມາດໃຊ້ NVIDIA GPU ເພື່ອເພີ່ມຄວາມໄວຂອງການເຮັດວຽກຂອງມັນ. ບໍລິການ VPS.org GPU ຍັງບໍ່ທັນມີໃຫ້ສັ່ງ; ຕິດຕໍ່ພວກເຮົາເພື່ອຟັງເມື່ອພວກເຂົາແມ່ນ. Ollama ແມ່ນໂດຍສະເພາະ LLM-inference / ສົນທະນາວຽກ. ທ່ານຈະຕ້ອງການການອ່ານການເຂົ້າເຖິງແບບ random ໄວຈາກດີສ໌ໄປສູ່ຄວາມ ຈຳ ແລະ VRAM ພຽງພໍ ສຳ ລັບແບບ ຈຳ ລອງ plus context window.
ບໍລິການ GPU ຍັງບໍ່ທັນມີໃຫ້ສັ່ງຊື້ເທື່ອ. ມື້ນີ້ທ່ານສາມາດແລ່ນ Ollama ຢູ່ໃນແຜນ CPU ປົກກະຕິ, ບ່ອນທີ່ມັນເຮັດວຽກຊ້າກວ່າ GPU: SSH ໃນແລະແລ່ນ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM ຄິດໄລ່ VRAM ຂະ ໜາດ ໃຫຍ່ກັບຕົວຊີ້ວັດແບບ: ແບບ 7B ຕ້ອງການປະມານ 5-8 GB ຂອງ VRAM ແລະແບບ 13B ປະມານ 10-14 GB, ໃນຂະນະທີ່ແບບ 70B-class ຕ້ອງການ GPU ຫຼາຍຫຼືການວັດແທກທີ່ຫນັກ.
ລາຄາ GPU ຈະຖືກເຜີຍແຜ່ເມື່ອເຊີບເວີ GPU ສາມາດສັ່ງຊື້ໄດ້. ຕິດຕໍ່ພວກເຮົາຖ້າທ່ານຕ້ອງການຮູ້ເມື່ອມັນເກີດຂື້ນ.
ແມ່ນແລ້ວ. ທຸກໆ ເຊີເວີ VPS.org ຈະມີການເຂົ້າເຖິງ root ເຕັມ, ສະນັ້ນທ່ານສາມາດແລ່ນເຄື່ອງມືອື່ນໆພ້ອມກັບ Ollama ໃນ RAM ແລະບ່ອນເກັບຂໍ້ມູນຂອງເຊີເວີ.
ທຸກໆ VPS.org ເຊີເວີມາພ້ອມກັບ root SSH ເຂົ້າເຖິງເຕັມ, ດັ່ງນັ້ນທ່ານສາມາດຕິດຕັ້ງ drivers, library ແລະ Ollama ຕາມທີ່ທ່ານຕ້ອງການ.
ບໍ່. ບໍ່ມີເຄື່ອງເຊີຟເວີມາພ້ອມກັບເວລາແລ່ນຂອງ CUDA ຫຼືເຄື່ອງຂັບລົດ NVIDIA ທີ່ໄດ້ຕິດຕັ້ງກ່ອນແລ້ວ, ແລະເຄື່ອງເຊີຟເວີ GPU ຍັງບໍ່ມີໃຫ້ສັ່ງຊື້ເທື່ອ. ທ່ານໄດ້ຕິດຕັ້ງເວີຊັນ Ollama ຕ້ອງການຕົວທ່ານເອງ.
ຍິນດີ. ເຊີເວີ VPS.org ແມ່ນເຄື່ອງ virtual ທີ່ມີຢູ່, ບໍ່ແມ່ນຕົວຢ່າງທີ່ບໍ່ມີເວລາ: ແບບ Ollama, ຕັ້ງຄ່າແລະຂໍ້ມູນຢູ່ເທິງ SSD ຂອງເຊີເວີຈົນກວ່າທ່ານຈະລຶບພວກມັນ.
ຮັກສາຂໍ້ມູນເຮັດວຽກຢູ່ໃນ SSD ຂອງເຊີບເວີສໍາລັບການເຂົ້າເຖິງໄວໃນໄລຍະ Ollama ແລ່ນ, ແລະຄັດລອກ artifacts ສໍາເລັດ (ນໍ້າໜັກ, ເຊື້ອຊາດ, embeddings) ໄປເກັບຮັກສານອກ VPS.org; snapshots ແລະ backups ຢູ່ໃນ cluster ເກັບຮັກສາດຽວກັນ.
ທ່ານສາມາດອັບເດດເຊີບເວີ VPS.org ໃດໆໄປເປັນແຜນທີ່ໃຫຍ່ກວ່າຈາກແຜງຄວບຄຸມ; ການປ່ຽນຂະໜາດຈະເລີ່ມຕົ້ນມັນຄືນໃໝ່ ແລະ ການຕິດຕັ້ງ Ollama ຂອງທ່ານຈະນຳໄປໃຊ້ຕໍ່ໄປ. ເຊີບເວີ GPU ຍັງບໍ່ມີຢູ່ເທື່ອ.
ຍິນດີຕ້ອນຮັບ. バックອັບແມ່ນຈ່າຍ add-on (ທຸກໆມື້ +30% ຂອງລາຄາແຜນ, ຮັກສາ7ມື້; ອາທິດ +20%, ຮັກສາ 28 ວັນ) ແລະ snapshots ແມ່ນຟຣີ, ເຊິ່ງແມ່ນມີປະໂຫຍດກ່ອນທີ່ຈະ Ollama ຍາວແລ່ນ. ທັງສອງຢູ່ທີ່ cluster ເກັບຮັກສາດຽວກັນກັບເຄື່ອງແມ່ຂ່າຍ.
ຕິດຕໍ່ສະຫນັບສະຫນູນພາຍໃນ 30 ມື້ຂອງການຊື້ຄັ້ງທໍາອິດຂອງທ່ານເພື່ອຂໍໃຫ້ມີການຊໍາລະຄືນ. ເຊີເວີ GPU ຍັງບໍ່ທັນໄດ້ຂາຍ, ສະນັ້ນບໍ່ມີຄໍາສັ່ງ GPU ກ່ຽວຂ້ອງ.
ຄວາມສາມາດຂອງ GPU ແມ່ນມີຈໍາກັດ. ບອກພວກເຮົາກ່ຽວກັບຄວາມກົດດັນຂອງວຽກຂອງທ່ານແລະພວກເຮົາຈະຕອບກັບຄວາມສາມາດແລະລາຄາ.