ម៉ូដែល Llama របស់ Meta នៅលើ NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) ។ សមនឹងម៉ូដែល 8B នៅភាពជាក់លាក់ពេញលេញនិងម៉ូដែលធំ ៗ នៅពេល quantum ។ ម៉ាស៊ីនបម្រើ GPU មិន អាច បញ្ជា ទិញ នៅឡើយទេ ទាក់ទងយើងដើម្បីទទួលបានការជូនដំណឹងនៅពេលពួកគេ។
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# ពាក្យបញ្ជាដំឡើងឧទាហរណ៍
Llama គឺជាគ្រួសាររបស់មេតានៃម៉ូដែលភាសាធំដែលអាចប្រើបានដោយបើកចំហ ។ រត់ Llama នៅលើម៉ាស៊ីនបម្រើ GPU របស់អ្នកផ្ទាល់រក្សាសំណួរ និងទិន្នន័យឯកជន ។
ដំណើរការម៉ូដែល 8B លើ 24 GB នៃ VRAM ។ ម៉ូដែល 70B មិនសមនឹងកាត 24 GB មួយនៅកម្រិត quantumization ទូទៅទេ។
សំណួរ និងទិន្នន័យរបស់អ្នកនៅលើម៉ាស៊ីនបម្រើរបស់អ្នក ដោយគ្មានការហៅ API របស់ភាគីទីបី ។
ប្រើ GGUF ជាមួយ llama. cpp ឬ Ollama ឬទម្ងន់ដើម PyTorch ។
ផ្ដល់ម៉ូដែលជាមួយ Ollama ឬម៉ាស៊ីនបម្រើ llama. cpp សម្រាប់ចំណុចបញ្ចប់ដែលឆបគ្នាជាមួយ OpenAI ។
LLaMA អាចប្រើ NVIDIA GPU ដើម្បីបង្កើនល្បឿនការងាររបស់ខ្លួន។ ម៉ាស៊ីនបម្រើ VPS.org GPU មិន អាចបញ្ជាទិញបាននៅឡើយទេ; ទាក់ទងមកយើងដើម្បីឮនៅពេលពួកគេ។ LLaMA គឺជាការផ្ទុកការងារដែលបង្កើនល្បឿន GPU ទូទៅ។ ប្រាកដថាកម្មវិធីរបស់អ្នកមានការគាំទ្រ CUDA ហើយថាកម្មវិធីបញ្ជា / កំណែ Runtime របស់អ្នកសមនឹងតម្រូវការផ្ទុកការងារសម្រាប់ LLaMA ។
ម៉ាស៊ីនបម្រើ GPU មិន អាច បញ្ជា ទិញ បាន នៅ ឡើយ ទេ ។ ថ្ងៃនេះ អ្នក អាច រត់ LLaMA លើ ផែនការ CPU ធម្មតា កន្លែង ដែល វា ធ្វើការ យឺត ជាង លើ GPU ៖ SSH ក្នុង និង រត់ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 ។
VRAM ត្រូវការសម្រាប់ LLaMA អាស្រ័យលើម៉ូដែល និងទំហំបាច់ ពិនិត្យមើលឯកសារគម្រោងសម្រាប់រូបតំណាងបច្ចុប្បន្ន ។
ការកំណត់តម្លៃ GPU នឹងត្រូវបានចេញផ្សាយនៅពេលដែលម៉ាស៊ីនបម្រើ GPU អាចត្រូវបានបញ្ជាទិញ ។ ទាក់ទងយើងប្រសិនបើអ្នកចង់ឮពេលដែលវាកើតឡើង ។
បាទ / ចាស ។ ម៉ាស៊ីនបម្រើ VPS.org ទាំងអស់មកជាមួយការចូលដំណើរការ root ពេញលេញដូច្នេះអ្នកអាចរត់ឧបករណ៍ផ្សេងទៀតនៅក្បែរ LLaMA នៅក្នុង RAM និងកន្លែងផ្ទុករបស់ម៉ាស៊ីនបម្រើ។
ម៉ាស៊ីនបម្រើ VPS.org ទាំងអស់មកជាមួយការចូលដំណើរការ SSH root ពេញលេញ ដូច្នេះអ្នកអាចដំឡើងកម្មវិធីបញ្ជា បណ្ណាល័យ និង LLaMA ទោះបីជាអ្នកត្រូវការ ។
ទេ. ម៉ាស៊ីនបម្រើគ្មានមកជាមួយ CUDA រត់ពេលឬកម្មវិធីបញ្ជា NVIDIA បានដំឡើងជាមុននិងម៉ាស៊ីនបម្រើ GPU មិនអាចរកបានដើម្បីបញ្ជានៅឡើយទេ. អ្នកដំឡើងកំណែ LLaMA ត្រូវការខ្លួនឯង.
បាទ/ ចាស ។ ម៉ាស៊ីនបម្រើ VPS.org គឺជាម៉ាស៊ីននិម្មិតដែលមានភាពរឹងមាំមិនមែនជាឧទាហរណ៍ដែលមានរយៈពេលខ្លីទេ ៖ ម៉ូដែល LLaMA ការកំណត់រចនាសម្ព័ន្ធ និងទិន្នន័យនៅលើការផ្ទុក SSD របស់ម៉ាស៊ីនបម្រើរហូតដល់អ្នកលុបពួកវា ។
រក្សាទុកទិន្នន័យការងារនៅលើ SSD របស់ម៉ាស៊ីនបម្រើសម្រាប់ការចូលដំណើរការលឿនក្នុងអំឡុងពេលរត់ LLaMA និងចម្លង artefacts បញ្ចប់ (ទម្ងន់, ជំនាន់, បង្កប់) ទៅការផ្ទុកខាងក្រៅ VPS.org; snapshots និងបម្រុងទុកនៅសល់នៅលើ cluster ផ្ទុកដូចគ្នា។
អ្នកអាចធ្វើឲ្យម៉ាស៊ីនបម្រើ VPS.org ណាមួយប្រសើរឡើងទៅផែនការធំជាងពីបន្ទះបញ្ជា ការប្ដូរទំហំចាប់ផ្តើមវាឡើងវិញ ហើយការដំឡើង LLaMA របស់អ្នកដឹកលើ ។ ម៉ាស៊ីនបម្រើ GPU មិនទាន់មាននៅឡើយទេ ។
បាទ. ការបម្រុងទុកគឺជាការបន្ថែមដែលបានបង់ប្រាក់ (ប្រចាំថ្ងៃ +30% នៃតម្លៃផែនការ, រក្សាទុក7ថ្ងៃ; រៀងរាល់សប្តាហ៍ +20%, រក្សាទុក 28 ថ្ងៃ) និង snapshots គឺឥតគិតថ្លៃ, ដែលមានប្រយោជន៍មុនពេល LLaMA យូររត់. ទាំងពីរនៅសល់នៅលើ cluster ផ្ទុកដូចគ្នាដូចជាម៉ាស៊ីនបម្រើ.
ទាក់ទងការគាំទ្រក្នុងរយៈពេល 30 ថ្ងៃនៃការទិញដំបូងរបស់អ្នកដើម្បីស្នើសុំការសងប្រាក់។ ម៉ាស៊ីនបម្រើ GPU មិនត្រូវបានលក់នៅឡើយទេដូច្នេះគ្មានការបញ្ជាទិញ GPU ពាក់ព័ន្ធ។
សមត្ថភាព GPU គឺ មាន កម្រិត. ប្រាប់ យើង អំពី ចំនួន ការងារ របស់ អ្នក ហើយ យើង នឹង ឆ្លើយ តប ជាមួយ ភាព អាច រក បាន និង តម្លៃ.