ຕົວແບບ Llama ຂອງ Meta ທີ່ມີຕົວເອງຢູ່ໃນ NVIDIA Tesla P40 (24 GB VRAM, ສະຖາປັດຕະຍະກໍາ Pascal). ເຫມາະສົມກັບຕົວແບບ 8B ທີ່ມີຄວາມຖືກຕ້ອງເຕັມແລະຕົວແບບທີ່ໃຫຍ່ກວ່າເມື່ອຖືກ quantized. ເຊີເວີ GPU ຍັງບໍ່ທັນສາມາດສັ່ງຊື້ໄດ້; ຕິດຕໍ່ພວກເຮົາເພື່ອແຈ້ງໃຫ້ພວກເຮົາຮູ້ເມື່ອພວກເຂົາເປັນ.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# ຄໍາສັ່ງຕິດຕັ້ງຕົວຢ່າງ
Llama ແມ່ນຄອບຄົວຂອງ Meta ທີ່ມີແບບພາສາໃຫຍ່ທີ່ສາມາດໃຊ້ໄດ້ຢ່າງເປີດເຜີຍ. ການແລ່ນ Llama ເທິງເຊີບເວີ GPU ຂອງທ່ານເອງ ຈະຮັກສາຄຳຖາມ ແລະ ຂໍ້ມູນສ່ວນຕົວໄວ້.
ແລ່ນແບບ 8B ໃນ 24 GB ຂອງ VRAM. ແບບ 70B ບໍ່ ເໝາະ ສົມກັບບັດ 24 GB ດຽວໃນລະດັບການວັດແທກທົ່ວໄປ.
ຄໍາຖາມ ແລະ ຂໍ້ມູນຂອງທ່ານຈະຢູ່ເທິງເຊີບເວີຂອງທ່ານ, ໂດຍບໍ່ມີການໂທ API ຂອງພາກສ່ວນທີສາມ.
ໃຊ້ GGUF ກັບ llama.cpp ຫຼື Ollama, ຫຼື ນໍ້າໜັກ PyTorch ແບບທຳມະດາ.
ບໍລິການແບບແບບກັບ Ollama ຫຼື ເຊີເວີ llama.cpp ສຳ ລັບຈຸດສຸດທ້າຍທີ່ເຂົ້າກັນໄດ້ກັບ OpenAI.
LLaMA ສາມາດໃຊ້ NVIDIA GPU ເພື່ອເພີ່ມຄວາມໄວຂອງການເຮັດວຽກຂອງມັນ. ບໍລິການ VPS.org GPU ຍັງບໍ່ທັນມີໃຫ້ສັ່ງ; ຕິດຕໍ່ພວກເຮົາເພື່ອຟັງເມື່ອພວກເຂົາແມ່ນ. LLaMA ແມ່ນວຽກທົ່ວໄປທີ່ GPU ເພີ່ມຄວາມໄວ. ຮັບປະກັນວ່າຊອບແວຂອງທ່ານມີການສະ ໜັບ ສະ ໜູນ CUDA ແລະວ່າຕົວຂັບລົດ / ເວທີຂອງທ່ານຈະສອດຄ່ອງກັບຄວາມຕ້ອງການຂອງວຽກ ສຳ ລັບ LLaMA.
ບໍລິການ GPU ຍັງບໍ່ທັນມີໃຫ້ສັ່ງຊື້ເທື່ອ. ມື້ນີ້ທ່ານສາມາດແລ່ນ LLaMA ຢູ່ໃນແຜນ CPU ປົກກະຕິ, ບ່ອນທີ່ມັນເຮັດວຽກຊ້າກວ່າ GPU: SSH ໃນແລະແລ່ນ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
ຄວາມຕ້ອງການ VRAM ຂອງ LLaMA ແມ່ນຂຶ້ນກັບ ແບບ ແລະ ຂະໜາດຂອງ batch; ກວດເບິ່ງເອກະສານໂຄງການ ສຳ ລັບຕົວເລກປະຈຸບັນ.
ລາຄາ GPU ຈະຖືກເຜີຍແຜ່ເມື່ອເຊີບເວີ GPU ສາມາດສັ່ງຊື້ໄດ້. ຕິດຕໍ່ພວກເຮົາຖ້າທ່ານຕ້ອງການຮູ້ເມື່ອມັນເກີດຂື້ນ.
ແມ່ນແລ້ວ. ທຸກໆ ເຊີເວີ VPS.org ຈະມີການເຂົ້າເຖິງ root ເຕັມ, ສະນັ້ນທ່ານສາມາດແລ່ນເຄື່ອງມືອື່ນໆພ້ອມກັບ LLaMA ໃນ RAM ແລະບ່ອນເກັບຂໍ້ມູນຂອງເຊີເວີ.
ທຸກໆ VPS.org ເຊີເວີມາພ້ອມກັບ root SSH ເຂົ້າເຖິງເຕັມ, ດັ່ງນັ້ນທ່ານສາມາດຕິດຕັ້ງ drivers, library ແລະ LLaMA ຕາມທີ່ທ່ານຕ້ອງການ.
ບໍ່. ບໍ່ມີເຄື່ອງເຊີຟເວີມາພ້ອມກັບເວລາແລ່ນຂອງ CUDA ຫຼືເຄື່ອງຂັບລົດ NVIDIA ທີ່ໄດ້ຕິດຕັ້ງກ່ອນແລ້ວ, ແລະເຄື່ອງເຊີຟເວີ GPU ຍັງບໍ່ມີໃຫ້ສັ່ງຊື້ເທື່ອ. ທ່ານໄດ້ຕິດຕັ້ງເວີຊັນ LLaMA ຕ້ອງການຕົວທ່ານເອງ.
ຍິນດີ. ເຊີເວີ VPS.org ແມ່ນເຄື່ອງ virtual ທີ່ມີຢູ່, ບໍ່ແມ່ນຕົວຢ່າງທີ່ບໍ່ມີເວລາ: ແບບ LLaMA, ຕັ້ງຄ່າແລະຂໍ້ມູນຢູ່ເທິງ SSD ຂອງເຊີເວີຈົນກວ່າທ່ານຈະລຶບພວກມັນ.
ຮັກສາຂໍ້ມູນເຮັດວຽກຢູ່ໃນ SSD ຂອງເຊີບເວີສໍາລັບການເຂົ້າເຖິງໄວໃນໄລຍະ LLaMA ແລ່ນ, ແລະຄັດລອກ artifacts ສໍາເລັດ (ນໍ້າໜັກ, ເຊື້ອຊາດ, embeddings) ໄປເກັບຮັກສານອກ VPS.org; snapshots ແລະ backups ຢູ່ໃນ cluster ເກັບຮັກສາດຽວກັນ.
ທ່ານສາມາດອັບເດດເຊີບເວີ VPS.org ໃດໆໄປເປັນແຜນທີ່ໃຫຍ່ກວ່າຈາກແຜງຄວບຄຸມ; ການປ່ຽນຂະໜາດຈະເລີ່ມຕົ້ນມັນຄືນໃໝ່ ແລະ ການຕິດຕັ້ງ LLaMA ຂອງທ່ານຈະນຳໄປໃຊ້ຕໍ່ໄປ. ເຊີບເວີ GPU ຍັງບໍ່ມີຢູ່ເທື່ອ.
ຍິນດີຕ້ອນຮັບ. バックອັບແມ່ນຈ່າຍ add-on (ທຸກໆມື້ +30% ຂອງລາຄາແຜນ, ຮັກສາ7ມື້; ອາທິດ +20%, ຮັກສາ 28 ວັນ) ແລະ snapshots ແມ່ນຟຣີ, ເຊິ່ງແມ່ນມີປະໂຫຍດກ່ອນທີ່ຈະ LLaMA ຍາວແລ່ນ. ທັງສອງຢູ່ທີ່ cluster ເກັບຮັກສາດຽວກັນກັບເຄື່ອງແມ່ຂ່າຍ.
ຕິດຕໍ່ສະຫນັບສະຫນູນພາຍໃນ 30 ມື້ຂອງການຊື້ຄັ້ງທໍາອິດຂອງທ່ານເພື່ອຂໍໃຫ້ມີການຊໍາລະຄືນ. ເຊີເວີ GPU ຍັງບໍ່ທັນໄດ້ຂາຍ, ສະນັ້ນບໍ່ມີຄໍາສັ່ງ GPU ກ່ຽວຂ້ອງ.
ຄວາມສາມາດຂອງ GPU ແມ່ນມີຈໍາກັດ. ບອກພວກເຮົາກ່ຽວກັບຄວາມກົດດັນຂອງວຽກຂອງທ່ານແລະພວກເຮົາຈະຕອບກັບຄວາມສາມາດແລະລາຄາ.