हामी NVIDIA टेस्ला P40 (24 जीबी VRAM, पास्कल वास्तुकला) संग GPU सर्भरहरू तयार गर्दैछौं ओलल्याम संग Llama, Mistral र Gemma जस्ता खुला स्रोत LLMs को लागि। GPU सर्भरहरू अझै पनि आदेश गर्न सकिँदैन; तिनीहरू जब तिनीहरू छन् जब हामीलाई सूचना दिन सम्पर्क गर्नुहोस्।
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# उदाहरण स्थापना आदेश
Ollama तपाईँको आफ्नै मेसिनमा ठूलो भाषा नमूनाहरू चलाउनका लागि हल्का उपकरण हो । GPU सर्भरमा नमूना CPU को सट्टा GPU मा चल्छ, जसले प्रतिक्रिया धेरै छिटो बनाउँछ ।
एक आदेश संग लामा, मिस्ट्रल, Gemma, Phi, Qwen र धेरै अन्य मोडेलहरू तान्नुहोस्।
7B 13B मोडेल आरामदायक र 30B मोडेल आसपास फिट जब quantized। 70B मोडेल सामान्य quantization स्तर मा एक 24 जीबी कार्ड मा फिट छैन।
प्रोम्ट्स र डेटा कुनै तेस्रो-पक्ष API कल संग, आफ्नो सर्भर मा रहन।
यो पत्रिकाको सम्पादन कार्य कमलप्रसाद घिमिरेद्वारा भएको छ।
Ollama यसको काम गति गर्न NVIDIA GPU प्रयोग गर्न सक्नुहुन्छ. VPS.org GPU सर्भरहरू अझै पनि आदेश गर्न उपलब्ध छैन; तिनीहरूले जब छन् सुन्न हामीलाई सम्पर्क. Ollama मुख्य रूपमा एक LLM-अनुसन्धान / च्याट कार्यभार छ. तपाईं स्मृति र मोडेल प्लस सन्दर्भ सञ्झ्याल लागि पर्याप्त VRAM मा डिस्कबाट छिटो अनियमित-अनुप्रयोग पढ्न चाहनुहुन्छ.
GPU सर्भरहरू अझै पनि आदेश गर्न उपलब्ध छैनन्। आज तपाईं नियमित सीपीयू योजनामा Ollama चलाउन सक्नुहुन्छ, जहाँ यो GPU मा भन्दा धेरै ढिलो काम गर्दछ: SSH मा र curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 चलाउनुहोस्।
LLM निष्कर्ष VRAM मापन मोडेल मापदण्डहरू संग। एक 7B मोडेल आवश्यक ~ 5-8 जीबी VRAM, 13B ~ 10-14 जीबी, 70B बहु-GPU वा क्वान्टाइजेशन आवश्यक छ। हाम्रो 24 जीबी टेस्ला P40 आरामदायक INT8 क्वान्टाइजेसन संग पूर्ण सटीकता र 30B-वर्ग मोडेलहरूमा 7B-13B मोडेलहरू चलाउँछ।
GPU सर्भरहरू आदेश गर्न सकिन्छ जब GPU मूल्यांकन प्रकाशित गरिनेछ। तपाईंले त्यो घटना हुँदा सुन्न चाहनुहुन्छ भने हामीलाई सम्पर्क गर्नुहोस्।
हो। हरेक VPS.org सर्भर पूर्ण मूल पहुँच संग आउँछ, त्यसैले तपाईं सर्भरको RAM र भण्डारण भित्र Ollama साथै अन्य उपकरणहरू चलाउन सक्नुहुन्छ।
हरेक VPS.org सर्भर पूर्ण मूल SSH पहुँच संग आउँछ, त्यसैले तपाईं ड्राइभर स्थापना गर्न सक्नुहुन्छ, पुस्तकालय र Ollama तर तपाईं आवश्यक.
छैन. कुनै सर्भर एक CUDA रनटाइम वा NVIDIA ड्राइभर पूर्व-स्थापना संग आउँछ, र GPU सर्भर अझै पनि आदेश गर्न उपलब्ध छैन. तपाईं संस्करण Ollama आफैलाई आवश्यकताहरू स्थापना.
हो। VPS.org सर्भरहरू स्थिर अवास्तविक मेशिनहरू हुन्, न त अल्पकालीन उदाहरणहरू: Ollama मोडेलहरू, कन्फिगहरू र डेटाहरू सर्भरको एसडीएस भण्डारणमा रहन्छन् जबसम्म तपाईं तिनीहरूलाई मेट्नुहुन्न।
Ollama चल्छ समयमा छिटो पहुँच लागि सर्भरको एसडीएस मा काम डेटा राख्न, र VPS.org बाहिर भण्डारण गर्न समाप्त artifacts (वजन, पुस्ता, embeddings) प्रतिलिपि; स्न्यापसट र जगेडा एउटै भण्डारण क्लस्टर मा बस्ने।
तपाईँले नियन्त्रण प्यानलबाट ठूलो योजनामा कुनै पनि VPS.org सर्भर स्तरबृद्धि गर्न सक्नुहुन्छ; रिसाइजले यसलाई पुन: सुरु गर्दछ र तपाईँको Ollama स्थापनाले यसलाई माथि लिन्छ। GPU सर्भरहरू अहिलेसम्म उपलब्ध छैनन्।
हो. ब्याकअप एक भुक्तानी add-on छन् (योजना मूल्य को दैनिक +30%, राखिएको7दिन; साप्ताहिक +20%, राखिएको 28 दिन) र स्न्यापसट मुक्त छन्, जो लामो Ollama चल्छ अघि उपयोगी छ. दुवै सर्भर रूपमा नै भण्डारण क्लस्टर मा बस्न.
फिर्ताको लागि अनुरोध गर्न तपाईंको पहिलो खरीदको 30 दिन भित्र समर्थन सम्पर्क गर्नुहोस्। GPU सर्भरहरू अझै बिक्री गरिएको छैन, त्यसैले कुनै GPU आदेश संलग्न छ।
GPU क्षमता सीमित छ। हामीलाई आफ्नो कार्यभार बारे बताउनुहोस् र हामी उपलब्धता र मूल्यांकन संग जवाफ दिनेछौं।