យើងកំពុងរៀបចំម៉ាស៊ីនបម្រើ GPU ជាមួយ NVIDIA Tesla P40 (24 GB VRAM, ស្ថាបត្យកម្ម Pascal) សម្រាប់ដំណើរការ LLMs ប្រភពបើកចំហដូចជា Llama, Mistral និង Gemma ជាមួយ Ollama ។ ម៉ាស៊ីនបម្រើ GPU មិនត្រូវបានបញ្ជាទិញនៅឡើយទេ; ទាក់ទងមកយើងដើម្បីទទួលបានការជូនដំណឹងនៅពេលពួកគេ។
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# ពាក្យបញ្ជាដំឡើងឧទាហរណ៍
Ollama គឺជាឧបករណ៍ស្រាលសម្រាប់រត់ម៉ូដែលភាសាធំនៅលើម៉ាស៊ីនរបស់អ្នក ។ នៅលើម៉ាស៊ីនបម្រើ GPU ម៉ូដែលរត់នៅលើ GPU ជំនួសឲ្យស៊ីភីយូ ដែលធ្វើឲ្យការឆ្លើយតបលឿនជាងមុន ។
ទាញ Llama, Mistral, Gemma, Phi, Qwen និងម៉ូដែលជាច្រើនទៀតជាមួយពាក្យបញ្ជាមួយ ។
សម 7B ទៅ 13B ម៉ូដែលយ៉ាងងាយស្រួលនិងជុំវិញ 30B ម៉ូដែលនៅពេលដែល quantized. 70B ម៉ូដែលមិនសមនៅលើមួយ 24 GB កាតនៅកម្រិត quantization ទូទៅ.
សំណួរ និងទិន្នន័យនៅលើម៉ាស៊ីនបម្រើរបស់អ្នក ដោយគ្មានការហៅ API របស់ភាគីទីបី ។
Ollama បង្ហាញចំណុចបញ្ចប់ដែលឆបគ្នាជាមួយ OpenAI ដែលម៉ាស៊ីនភ្ញៀវដែលមានស្រាប់ជាច្រើនអាចប្រើបាន ។
Ollama អាចប្រើ NVIDIA GPU ដើម្បីបង្កើនល្បឿនការងាររបស់ខ្លួន។ ម៉ាស៊ីនបម្រើ VPS.org GPU មិន អាចបញ្ជាទិញបាននៅឡើយទេ; ទាក់ទងមកយើងដើម្បីឮនៅពេលពួកគេ។ Ollama ជាចម្បងគឺ LLM-inference / កាបូបការងារជជែក។ អ្នកនឹងចង់អានការចូលដំណើរការចៃដន្យពីថាសទៅសតិនិង VRAM គ្រប់គ្រាន់សម្រាប់ម៉ូដែលបន្ថែមបង្អួចបរិបទ។
ម៉ាស៊ីនបម្រើ GPU មិន អាច បញ្ជា ទិញ បាន នៅ ឡើយ ទេ ។ ថ្ងៃនេះ អ្នក អាច រត់ Ollama លើ ផែនការ CPU ធម្មតា កន្លែង ដែល វា ធ្វើការ យឺត ជាង លើ GPU ៖ SSH ក្នុង និង រត់ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 ។
LLM សន្និដ្ឋាន VRAM វិមាត្រជាមួយប៉ារ៉ាម៉ែត្រម៉ូដែល: ម៉ូដែល 7B ត្រូវការប្រហែល 5-8 GB នៃ VRAM និងម៉ូដែល 13B ប្រហែល 10-14 GB ខណៈពេលដែលម៉ូដែលថ្នាក់ 70B ត្រូវការ GPU ជាច្រើនឬការគណនាធ្ងន់។
ការកំណត់តម្លៃ GPU នឹងត្រូវបានចេញផ្សាយនៅពេលដែលម៉ាស៊ីនបម្រើ GPU អាចត្រូវបានបញ្ជាទិញ ។ ទាក់ទងយើងប្រសិនបើអ្នកចង់ឮពេលដែលវាកើតឡើង ។
បាទ / ចាស ។ ម៉ាស៊ីនបម្រើ VPS.org ទាំងអស់មកជាមួយការចូលដំណើរការ root ពេញលេញដូច្នេះអ្នកអាចរត់ឧបករណ៍ផ្សេងទៀតនៅក្បែរ Ollama នៅក្នុង RAM និងកន្លែងផ្ទុករបស់ម៉ាស៊ីនបម្រើ។
ម៉ាស៊ីនបម្រើ VPS.org ទាំងអស់មកជាមួយការចូលដំណើរការ SSH root ពេញលេញ ដូច្នេះអ្នកអាចដំឡើងកម្មវិធីបញ្ជា បណ្ណាល័យ និង Ollama ទោះបីជាអ្នកត្រូវការ ។
ទេ. ម៉ាស៊ីនបម្រើគ្មានមកជាមួយ CUDA រត់ពេលឬកម្មវិធីបញ្ជា NVIDIA បានដំឡើងជាមុននិងម៉ាស៊ីនបម្រើ GPU មិនអាចរកបានដើម្បីបញ្ជានៅឡើយទេ. អ្នកដំឡើងកំណែ Ollama ត្រូវការខ្លួនឯង.
បាទ/ ចាស ។ ម៉ាស៊ីនបម្រើ VPS.org គឺជាម៉ាស៊ីននិម្មិតដែលមានភាពរឹងមាំមិនមែនជាឧទាហរណ៍ដែលមានរយៈពេលខ្លីទេ ៖ ម៉ូដែល Ollama ការកំណត់រចនាសម្ព័ន្ធ និងទិន្នន័យនៅលើការផ្ទុក SSD របស់ម៉ាស៊ីនបម្រើរហូតដល់អ្នកលុបពួកវា ។
រក្សាទុកទិន្នន័យការងារនៅលើ SSD របស់ម៉ាស៊ីនបម្រើសម្រាប់ការចូលដំណើរការលឿនក្នុងអំឡុងពេលរត់ Ollama និងចម្លង artefacts បញ្ចប់ (ទម្ងន់, ជំនាន់, បង្កប់) ទៅការផ្ទុកខាងក្រៅ VPS.org; snapshots និងបម្រុងទុកនៅសល់នៅលើ cluster ផ្ទុកដូចគ្នា។
អ្នកអាចធ្វើឲ្យម៉ាស៊ីនបម្រើ VPS.org ណាមួយប្រសើរឡើងទៅផែនការធំជាងពីបន្ទះបញ្ជា ការប្ដូរទំហំចាប់ផ្តើមវាឡើងវិញ ហើយការដំឡើង Ollama របស់អ្នកដឹកលើ ។ ម៉ាស៊ីនបម្រើ GPU មិនទាន់មាននៅឡើយទេ ។
បាទ. ការបម្រុងទុកគឺជាការបន្ថែមដែលបានបង់ប្រាក់ (ប្រចាំថ្ងៃ +30% នៃតម្លៃផែនការ, រក្សាទុក7ថ្ងៃ; រៀងរាល់សប្តាហ៍ +20%, រក្សាទុក 28 ថ្ងៃ) និង snapshots គឺឥតគិតថ្លៃ, ដែលមានប្រយោជន៍មុនពេល Ollama យូររត់. ទាំងពីរនៅសល់នៅលើ cluster ផ្ទុកដូចគ្នាដូចជាម៉ាស៊ីនបម្រើ.
ទាក់ទងការគាំទ្រក្នុងរយៈពេល 30 ថ្ងៃនៃការទិញដំបូងរបស់អ្នកដើម្បីស្នើសុំការសងប្រាក់។ ម៉ាស៊ីនបម្រើ GPU មិនត្រូវបានលក់នៅឡើយទេដូច្នេះគ្មានការបញ្ជាទិញ GPU ពាក់ព័ន្ធ។
សមត្ថភាព GPU គឺ មាន កម្រិត. ប្រាប់ យើង អំពី ចំនួន ការងារ របស់ អ្នក ហើយ យើង នឹង ឆ្លើយ តប ជាមួយ ភាព អាច រក បាន និង តម្លៃ.