आम्ही NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) सह GPU सर्वर तयार करत आहोत ओपन-सोर्स LLMs जसे की Llama, Mistral आणि Gemma with Ollama चालविण्यासाठी. GPU सर्वर अद्याप ऑर्डर करू शकत नाही; ते होते तेव्हा त्यांना कळविण्यासाठी आम्हाला संपर्क करा.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# उदाहरण प्रतिष्ठापन आदेश
ओल्लामा हे तुमच्या स्वतःच्या मशीनवर मोठ्या भाषा मॉडेल चालविण्याकरीता हलके साधन आहे. GPU सर्वर वर मॉडेल CPU च्या ऐवजी GPU वर चालविले जाते, जे उत्तरे खूपच जलद करते.
ॲपल, मायक्रोसॉफ्ट, गुगल, अॅपल टीव्ही, आयफोन, आयपॅड इत्यादी अनेक कंपन्या या ॲपचा वापर करतात.
Fits 7B to 13B models comfortably and around 30B models when quantized. 70B models do not fit on one 24 GB card at common quantization levels.
याचा अर्थ असा की, ॲरिस्टॉटलच्या मते, कोणत्याही वस्तूचे अस्तित्व नसते, तर कोणत्याही वस्तूचे अस्तित्व नसते.
गूगल प्ले स्टोअरवर उपलब्ध असलेल्या अनेक अ‍ॅप्सचा वापर करून आपण गूगल प्ले स्टोअर वापरू शकतो.
Ollama कार्य वेगाने करण्यासाठी NVIDIA GPU चा वापर करू शकते. VPS.org GPU सर्वर अद्याप ऑर्डर करण्यासाठी उपलब्ध नाही; ते उपलब्ध झाल्यास आम्हाला कळवा. Ollama प्रामुख्याने LLM-inference / chat workload आहे. तुम्हाला डिस्क पासून स्मृती पर्यंत वेगाने random-access वाचणे हवे आहे आणि मॉडेल प्लस कॉन्टेक्स्ट चौकट साठी पुरेसे VRAM.
GPU सर्वर अद्याप ऑर्डर करण्यासाठी उपलब्ध नाही. आज आपण Ollama नियमित CPU योजनावर चालवू शकता, जिथे ते GPU वरपेक्षा खूपच मंद कार्य करते: SSH मध्ये आणि curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 चालवा.
7B मॉडेल ~5-8 GB VRAM, 13B ~10-14 GB, 70B बहु-GPU किंवा क्वांटाइजेशन आवश्यक आहे. आमच्या 24 GB टेस्ला P40 पूर्ण अचूकतेने 7B-13B मॉडेल आणि INT8 क्वांटाइजेशनसह 30B-वर्ग मॉडेल सहजपणे चालवते.
GPU सर्वर ऑर्डर करता येतील तेव्हा GPU किंमत प्रकाशित केली जाईल. जेव्हा ते घडेल तेव्हा ऐकायला हवे असल्यास आम्हाला संपर्क करा.
होय. प्रत्येक VPS.org सर्वर पूर्ण रूट प्रवेशासह येतो, म्हणून तुम्ही Ollama सोबत इतर साधने सर्व्हरच्या RAM आणि संचयीत चालवू शकता.
प्रत्येक VPS.org सर्व्हर पूर्ण रूट SSH प्रवेश येते, म्हणून आपण ड्राइव्हर्स, लायब्ररी आणि Ollama आवश्यक असल्यास स्थापित करू शकता.
नाही. कुठलेही सर्वर CUDA रनटाइम किंवा NVIDIA ड्राइवर पूर्व-संस्थापित केले नाही, आणि GPU सर्वर अद्याप ऑर्डर करण्याकरीता उपलब्ध नाही. Ollama आवश्यक आवृत्ती तुम्ही स्वतः प्रतिष्ठापीत करा.
Yes. VPS.org servers are persistent virtual machines, not ephemeral instances: Ollama models, configs and data stay on the server's SSD storage until you delete them.
Keep working data on the server's SSD for fast access during Ollama runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
तुम्ही नियंत्रण पटल पासून कोणत्याही VPS.org सर्वर ला मोठ्या प्लॅन वर अपग्रेड करू शकता; आकार बदलणे पुन्हा सुरू होते व तुमचे Ollama प्रतिष्ठापन पुढे जाते. GPU सर्वर अजून उपलब्ध नाही.
होय. बॅकअप एक भरपाई जोडणी आहे (दिवसभर +30% योजना किंमत,7दिवस ठेवले; आठवड्यातून +20%, 28 दिवस ठेवले) आणि स्नैपशॉट मोफत आहेत, जे Ollama लांब चालण्यापूर्वी उपयोगी आहे. दोन्ही सर्व्हरसारख्याच साठवण क्लस्टरवर राहतात.
परतफेड मागण्यासाठी तुमच्या पहिल्या खरेदीच्या 30 दिवसांच्या आत समर्थनाचा संपर्क करा. GPU सर्वर अजून विकले गेलेले नाहीत, म्हणून GPU ऑर्डर समाविष्ट नाही.
GPU क्षमता मर्यादित आहे. आम्हाला तुमच्या कार्यभाराविषयी सांगा आणि आम्ही उपलब्धता व किंमत बरोबर उत्तर देऊ.