ບໍລິການແບບ AI ຈາກ NVIDIA Tesla P40 (24 GB VRAM, ສະຖາປັດຕະຍະກໍາ Pascal): LLMs, ແບບຈໍາລອງຮູບພາບແລະການຄາດຄະເນອື່ນໆ. ບໍລິການ GPU ຍັງບໍ່ທັນໄດ້ສັ່ງຊື້; ຕິດຕໍ່ພວກເຮົາເພື່ອແຈ້ງໃຫ້ພວກເຮົາຮູ້ວ່າພວກເຂົາແມ່ນ.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# ຄໍາສັ່ງຕິດຕັ້ງຕົວຢ່າງ
AI inference ໝາຍເຖິງການແລ່ນແບບທີ່ຮຽນຮູ້ເພື່ອຜະລິດການຄາດຄະເນ. ບໍລິການ GPU inference ຮັກສາແບບທີ່ໂຫຼດຢູ່ໃນ GPU ແລະຕອບ ຄຳ ຮ້ອງຂໍທີ່ໄວກວ່າ CPU.
GPU ແມ່ນຖືກສົ່ງຜ່ານໄປຫາເຊີບເວີຂອງທ່ານໂດຍດຽວ, ສະນັ້ນຄວາມຊ້າບໍ່ຖືກກະທົບໂດຍວຽກ GPU ຂອງລູກຄ້າອື່ນ.
ໃຊ້ Ollama, llama.cpp, Triton ຫຼື API ຂອງທ່ານເອງ. ບາງກອບ, ເຊັ່ນ vLLM, ຕ້ອງການ GPUs ໃຫມ່ກວ່າ Pascal P40.
ແລ່ນຫຼາຍເຄື່ອງເຊີບເວີພາຍຫຼັງການຈັດສັນການໂຫຼດຂອງທ່ານ ຖ້າວ່າ GPU ດຽວບໍ່ພຽງພໍ.
ບໍລິການຫນຶ່ງຂະຫນາດກາງແບບຫຼືຫຼາຍຂະຫນາດນ້ອຍ.
AI Inference ສາມາດໃຊ້ NVIDIA GPU ເພື່ອເພີ່ມຄວາມໄວຂອງການເຮັດວຽກຂອງມັນ. ບໍລິການ VPS.org GPU ຍັງບໍ່ທັນມີໃຫ້ສັ່ງ; ຕິດຕໍ່ພວກເຮົາເພື່ອຟັງເມື່ອພວກເຂົາແມ່ນ. AI Inference ແມ່ນວຽກທົ່ວໄປທີ່ GPU ເພີ່ມຄວາມໄວ. ຮັບປະກັນວ່າຊອບແວຂອງທ່ານມີການສະ ໜັບ ສະ ໜູນ CUDA ແລະວ່າຕົວຂັບລົດ / ເວທີຂອງທ່ານຈະສອດຄ່ອງກັບຄວາມຕ້ອງການຂອງວຽກ ສຳ ລັບ AI Inference.
ບໍລິການ GPU ຍັງບໍ່ທັນມີໃຫ້ສັ່ງຊື້ເທື່ອ. ມື້ນີ້ທ່ານສາມາດແລ່ນ AI Inference ຢູ່ໃນແຜນ CPU ປົກກະຕິ, ບ່ອນທີ່ມັນເຮັດວຽກຊ້າກວ່າ GPU: SSH ໃນແລະແລ່ນ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
ຄວາມຕ້ອງການ VRAM ຂອງ AI Inference ແມ່ນຂຶ້ນກັບ ແບບ ແລະ ຂະໜາດຂອງ batch; ກວດເບິ່ງເອກະສານໂຄງການ ສຳ ລັບຕົວເລກປະຈຸບັນ.
ລາຄາ GPU ຈະຖືກເຜີຍແຜ່ເມື່ອເຊີບເວີ GPU ສາມາດສັ່ງຊື້ໄດ້. ຕິດຕໍ່ພວກເຮົາຖ້າທ່ານຕ້ອງການຮູ້ເມື່ອມັນເກີດຂື້ນ.
ແມ່ນແລ້ວ. ທຸກໆ ເຊີເວີ VPS.org ຈະມີການເຂົ້າເຖິງ root ເຕັມ, ສະນັ້ນທ່ານສາມາດແລ່ນເຄື່ອງມືອື່ນໆພ້ອມກັບ AI Inference ໃນ RAM ແລະບ່ອນເກັບຂໍ້ມູນຂອງເຊີເວີ.
ທຸກໆ VPS.org ເຊີເວີມາພ້ອມກັບ root SSH ເຂົ້າເຖິງເຕັມ, ດັ່ງນັ້ນທ່ານສາມາດຕິດຕັ້ງ drivers, library ແລະ AI Inference ຕາມທີ່ທ່ານຕ້ອງການ.
ບໍ່. ບໍ່ມີເຄື່ອງເຊີຟເວີມາພ້ອມກັບເວລາແລ່ນຂອງ CUDA ຫຼືເຄື່ອງຂັບລົດ NVIDIA ທີ່ໄດ້ຕິດຕັ້ງກ່ອນແລ້ວ, ແລະເຄື່ອງເຊີຟເວີ GPU ຍັງບໍ່ມີໃຫ້ສັ່ງຊື້ເທື່ອ. ທ່ານໄດ້ຕິດຕັ້ງເວີຊັນ AI Inference ຕ້ອງການຕົວທ່ານເອງ.
ຍິນດີ. ເຊີເວີ VPS.org ແມ່ນເຄື່ອງ virtual ທີ່ມີຢູ່, ບໍ່ແມ່ນຕົວຢ່າງທີ່ບໍ່ມີເວລາ: ແບບ AI Inference, ຕັ້ງຄ່າແລະຂໍ້ມູນຢູ່ເທິງ SSD ຂອງເຊີເວີຈົນກວ່າທ່ານຈະລຶບພວກມັນ.
ຮັກສາຂໍ້ມູນເຮັດວຽກຢູ່ໃນ SSD ຂອງເຊີບເວີສໍາລັບການເຂົ້າເຖິງໄວໃນໄລຍະ AI Inference ແລ່ນ, ແລະຄັດລອກ artifacts ສໍາເລັດ (ນໍ້າໜັກ, ເຊື້ອຊາດ, embeddings) ໄປເກັບຮັກສານອກ VPS.org; snapshots ແລະ backups ຢູ່ໃນ cluster ເກັບຮັກສາດຽວກັນ.
ທ່ານສາມາດອັບເດດເຊີບເວີ VPS.org ໃດໆໄປເປັນແຜນທີ່ໃຫຍ່ກວ່າຈາກແຜງຄວບຄຸມ; ການປ່ຽນຂະໜາດຈະເລີ່ມຕົ້ນມັນຄືນໃໝ່ ແລະ ການຕິດຕັ້ງ AI Inference ຂອງທ່ານຈະນຳໄປໃຊ້ຕໍ່ໄປ. ເຊີບເວີ GPU ຍັງບໍ່ມີຢູ່ເທື່ອ.
ຍິນດີຕ້ອນຮັບ. バックອັບແມ່ນຈ່າຍ add-on (ທຸກໆມື້ +30% ຂອງລາຄາແຜນ, ຮັກສາ7ມື້; ອາທິດ +20%, ຮັກສາ 28 ວັນ) ແລະ snapshots ແມ່ນຟຣີ, ເຊິ່ງແມ່ນມີປະໂຫຍດກ່ອນທີ່ຈະ AI Inference ຍາວແລ່ນ. ທັງສອງຢູ່ທີ່ cluster ເກັບຮັກສາດຽວກັນກັບເຄື່ອງແມ່ຂ່າຍ.
ຕິດຕໍ່ສະຫນັບສະຫນູນພາຍໃນ 30 ມື້ຂອງການຊື້ຄັ້ງທໍາອິດຂອງທ່ານເພື່ອຂໍໃຫ້ມີການຊໍາລະຄືນ. ເຊີເວີ GPU ຍັງບໍ່ທັນໄດ້ຂາຍ, ສະນັ້ນບໍ່ມີຄໍາສັ່ງ GPU ກ່ຽວຂ້ອງ.
ຄວາມສາມາດຂອງ GPU ແມ່ນມີຈໍາກັດ. ບອກພວກເຮົາກ່ຽວກັບຄວາມກົດດັນຂອງວຽກຂອງທ່ານແລະພວກເຮົາຈະຕອບກັບຄວາມສາມາດແລະລາຄາ.