ផ្តល់នូវម៉ូដែល AI ពី NVIDIA Tesla P40 (24 GB VRAM, ស្ថាបត្យកម្ម Pascal): LLMs, ម៉ូដែលរូបភាពនិងការព្យាករណ៍ផ្សេងទៀត។ ម៉ាស៊ីនបម្រើ GPU មិនត្រូវបានបញ្ជាទិញនៅឡើយទេ; ទាក់ទងមកយើងដើម្បីទទួលបានការជូនដំណឹងនៅពេលពួកគេមាន។
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# ពាក្យបញ្ជាដំឡើងឧទាហរណ៍
AI និន្នាការមានន័យថារត់ម៉ូដែលដែលបានបណ្តុះបណ្តាលដើម្បីផលិតការព្យាករណ៍ ។ ម៉ាស៊ីនបម្រើនិន្នាការ GPU រក្សាម៉ូដែលដែលបានផ្ទុកលើ GPU និងឆ្លើយសំណើយ៉ាងលឿនជាងស៊ីភីយូ ។
GPU ត្រូវបានបញ្ជូនតាមរយៈតែម៉ាស៊ីនបម្រើរបស់អ្នកប៉ុណ្ណោះ ដូច្នេះការពន្យារមិនត្រូវបានប៉ះពាល់ដោយការងារ GPU របស់អតិថិជនផ្សេងទៀតទេ ។
ប្រើ Ollama, llama.cpp, Triton ឬ API ផ្ទាល់ខ្លួនរបស់អ្នក ។ គ្រោងការណ៍មួយចំនួនដូចជា vLLM ត្រូវការ GPUs ថ្មីជាង Pascal P40 ។
រត់ម៉ាស៊ីនបម្រើច្រើននៅពីក្រោយការតុល្យភាពផ្ទុករបស់អ្នកផ្ទាល់ បើ GPU មួយមិនគ្រប់គ្រាន់ ។
ផ្តល់នូវម៉ូដែលទំហំមធ្យមមួយឬតិចជាងជាច្រើន។
AI Inference អាចប្រើ NVIDIA GPU ដើម្បីបង្កើនល្បឿនការងាររបស់ខ្លួន។ ម៉ាស៊ីនបម្រើ VPS.org GPU មិន អាចបញ្ជាទិញបាននៅឡើយទេ; ទាក់ទងមកយើងដើម្បីឮនៅពេលពួកគេ។ AI Inference គឺជាការផ្ទុកការងារដែលបង្កើនល្បឿន GPU ទូទៅ។ ប្រាកដថាកម្មវិធីរបស់អ្នកមានការគាំទ្រ CUDA ហើយថាកម្មវិធីបញ្ជា / កំណែ Runtime របស់អ្នកសមនឹងតម្រូវការផ្ទុកការងារសម្រាប់ AI Inference ។
ម៉ាស៊ីនបម្រើ GPU មិន អាច បញ្ជា ទិញ បាន នៅ ឡើយ ទេ ។ ថ្ងៃនេះ អ្នក អាច រត់ AI Inference លើ ផែនការ CPU ធម្មតា កន្លែង ដែល វា ធ្វើការ យឺត ជាង លើ GPU ៖ SSH ក្នុង និង រត់ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct ។
VRAM ត្រូវការសម្រាប់ AI Inference អាស្រ័យលើម៉ូដែល និងទំហំបាច់ ពិនិត្យមើលឯកសារគម្រោងសម្រាប់រូបតំណាងបច្ចុប្បន្ន ។
ការកំណត់តម្លៃ GPU នឹងត្រូវបានចេញផ្សាយនៅពេលដែលម៉ាស៊ីនបម្រើ GPU អាចត្រូវបានបញ្ជាទិញ ។ ទាក់ទងយើងប្រសិនបើអ្នកចង់ឮពេលដែលវាកើតឡើង ។
បាទ / ចាស ។ ម៉ាស៊ីនបម្រើ VPS.org ទាំងអស់មកជាមួយការចូលដំណើរការ root ពេញលេញដូច្នេះអ្នកអាចរត់ឧបករណ៍ផ្សេងទៀតនៅក្បែរ AI Inference នៅក្នុង RAM និងកន្លែងផ្ទុករបស់ម៉ាស៊ីនបម្រើ។
ម៉ាស៊ីនបម្រើ VPS.org ទាំងអស់មកជាមួយការចូលដំណើរការ SSH root ពេញលេញ ដូច្នេះអ្នកអាចដំឡើងកម្មវិធីបញ្ជា បណ្ណាល័យ និង AI Inference ទោះបីជាអ្នកត្រូវការ ។
ទេ. ម៉ាស៊ីនបម្រើគ្មានមកជាមួយ CUDA រត់ពេលឬកម្មវិធីបញ្ជា NVIDIA បានដំឡើងជាមុននិងម៉ាស៊ីនបម្រើ GPU មិនអាចរកបានដើម្បីបញ្ជានៅឡើយទេ. អ្នកដំឡើងកំណែ AI Inference ត្រូវការខ្លួនឯង.
បាទ/ ចាស ។ ម៉ាស៊ីនបម្រើ VPS.org គឺជាម៉ាស៊ីននិម្មិតដែលមានភាពរឹងមាំមិនមែនជាឧទាហរណ៍ដែលមានរយៈពេលខ្លីទេ ៖ ម៉ូដែល AI Inference ការកំណត់រចនាសម្ព័ន្ធ និងទិន្នន័យនៅលើការផ្ទុក SSD របស់ម៉ាស៊ីនបម្រើរហូតដល់អ្នកលុបពួកវា ។
រក្សាទុកទិន្នន័យការងារនៅលើ SSD របស់ម៉ាស៊ីនបម្រើសម្រាប់ការចូលដំណើរការលឿនក្នុងអំឡុងពេលរត់ AI Inference និងចម្លង artefacts បញ្ចប់ (ទម្ងន់, ជំនាន់, បង្កប់) ទៅការផ្ទុកខាងក្រៅ VPS.org; snapshots និងបម្រុងទុកនៅសល់នៅលើ cluster ផ្ទុកដូចគ្នា។
អ្នកអាចធ្វើឲ្យម៉ាស៊ីនបម្រើ VPS.org ណាមួយប្រសើរឡើងទៅផែនការធំជាងពីបន្ទះបញ្ជា ការប្ដូរទំហំចាប់ផ្តើមវាឡើងវិញ ហើយការដំឡើង AI Inference របស់អ្នកដឹកលើ ។ ម៉ាស៊ីនបម្រើ GPU មិនទាន់មាននៅឡើយទេ ។
បាទ. ការបម្រុងទុកគឺជាការបន្ថែមដែលបានបង់ប្រាក់ (ប្រចាំថ្ងៃ +30% នៃតម្លៃផែនការ, រក្សាទុក7ថ្ងៃ; រៀងរាល់សប្តាហ៍ +20%, រក្សាទុក 28 ថ្ងៃ) និង snapshots គឺឥតគិតថ្លៃ, ដែលមានប្រយោជន៍មុនពេល AI Inference យូររត់. ទាំងពីរនៅសល់នៅលើ cluster ផ្ទុកដូចគ្នាដូចជាម៉ាស៊ីនបម្រើ.
ទាក់ទងការគាំទ្រក្នុងរយៈពេល 30 ថ្ងៃនៃការទិញដំបូងរបស់អ្នកដើម្បីស្នើសុំការសងប្រាក់។ ម៉ាស៊ីនបម្រើ GPU មិនត្រូវបានលក់នៅឡើយទេដូច្នេះគ្មានការបញ្ជាទិញ GPU ពាក់ព័ន្ធ។
សមត្ថភាព GPU គឺ មាន កម្រិត. ប្រាប់ យើង អំពី ចំនួន ការងារ របស់ អ្នក ហើយ យើង នឹង ឆ្លើយ តប ជាមួយ ភាព អាច រក បាន និង តម្លៃ.