एनभीडिया टेस्ला P40 (24 जीबी VRAM, पास्कल वास्तुकला) बाट एआई मोडेलहरू सेवा गर्नुहोस्: LLMs, छवि मोडेलहरू र अन्य भविष्यवाणीहरू। GPU सर्भरहरू अझै पनि orderable छैनन्; तिनीहरू जब तिनीहरू छन् जब हामीलाई सूचना दिन सम्पर्क गर्नुहोस्।
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# उदाहरण स्थापना आदेश
AI inferences अर्थ भविष्यवाणीहरू उत्पादन गर्न प्रशिक्षित मोडेलहरू चलिरहेको छ। एक GPU inferences सर्भरले GPU मा लोड गरिएको मोडेल राख्दछ र CPU भन्दा धेरै छिटो अनुरोधहरूको जवाफ दिन्छ।
GPU तपाईँको सर्भरमा एक्लै पारित हुन्छ, त्यसैले लास्टेन्स अन्य ग्राहकहरूको GPU कार्यहरूद्वारा प्रभावित हुँदैन ।
Ollama, llama.cpp, Triton वा आफ्नो API प्रयोग गर्नुहोस्। vLLM जस्तै केही फ्रेमवर्कहरू, पास्कल P40 भन्दा नयाँ GPUs आवश्यक छ।
यदि एक GPU पर्याप्त छैन भने तपाईँको आफ्नै लोड ब्यालेन्सरको पछाडि धेरै सर्भरहरू चलाउनुहोस् ।
एक मध्य-आकार मोडेल वा धेरै साना सेवा गर्नुहोस्।
AI Inference यसको काम गति गर्न NVIDIA GPU प्रयोग गर्न सक्नुहुन्छ. VPS.org GPU सर्भरहरू अझै पनि आदेश गर्न उपलब्ध छैन; तिनीहरूले जब छन् सुन्न हामीलाई सम्पर्क. AI Inference एक सामान्य GPU-गतिशील कार्यभार छ. निश्चित गर्नुहोस् तपाईंको सफ्टवेयर CUDA समर्थन छ र तपाईंको ड्राइभर / रनटाइम संस्करणहरू AI Inference को लागि कार्यभार आवश्यकताहरू मिल्दछन्.
GPU सर्भरहरू अझै पनि आदेश गर्न उपलब्ध छैनन्। आज तपाईं नियमित सीपीयू योजनामा AI Inference चलाउन सक्नुहुन्छ, जहाँ यो GPU मा भन्दा धेरै ढिलो काम गर्दछ: SSH मा र pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct चलाउनुहोस्।
AI Inference का लागि VRAM आवश्यकताहरू नमूना र ब्याच साइजमा निर्भर गर्दछ; हालको चित्रहरूका लागि परियोजना मिसिलीकरण जाँच गर्नुहोस्।
GPU सर्भरहरू आदेश गर्न सकिन्छ जब GPU मूल्यांकन प्रकाशित गरिनेछ। तपाईंले त्यो घटना हुँदा सुन्न चाहनुहुन्छ भने हामीलाई सम्पर्क गर्नुहोस्।
हो। हरेक VPS.org सर्भर पूर्ण मूल पहुँच संग आउँछ, त्यसैले तपाईं सर्भरको RAM र भण्डारण भित्र AI Inference साथै अन्य उपकरणहरू चलाउन सक्नुहुन्छ।
हरेक VPS.org सर्भर पूर्ण मूल SSH पहुँच संग आउँछ, त्यसैले तपाईं ड्राइभर स्थापना गर्न सक्नुहुन्छ, पुस्तकालय र AI Inference तर तपाईं आवश्यक.
छैन. कुनै सर्भर एक CUDA रनटाइम वा NVIDIA ड्राइभर पूर्व-स्थापना संग आउँछ, र GPU सर्भर अझै पनि आदेश गर्न उपलब्ध छैन. तपाईं संस्करण AI Inference आफैलाई आवश्यकताहरू स्थापना.
हो। VPS.org सर्भरहरू स्थिर अवास्तविक मेशिनहरू हुन्, न त अल्पकालीन उदाहरणहरू: AI Inference मोडेलहरू, कन्फिगहरू र डेटाहरू सर्भरको एसडीएस भण्डारणमा रहन्छन् जबसम्म तपाईं तिनीहरूलाई मेट्नुहुन्न।
AI Inference चल्छ समयमा छिटो पहुँच लागि सर्भरको एसडीएस मा काम डेटा राख्न, र VPS.org बाहिर भण्डारण गर्न समाप्त artifacts (वजन, पुस्ता, embeddings) प्रतिलिपि; स्न्यापसट र जगेडा एउटै भण्डारण क्लस्टर मा बस्ने।
तपाईँले नियन्त्रण प्यानलबाट ठूलो योजनामा कुनै पनि VPS.org सर्भर स्तरबृद्धि गर्न सक्नुहुन्छ; रिसाइजले यसलाई पुन: सुरु गर्दछ र तपाईँको AI Inference स्थापनाले यसलाई माथि लिन्छ। GPU सर्भरहरू अहिलेसम्म उपलब्ध छैनन्।
हो. ब्याकअप एक भुक्तानी add-on छन् (योजना मूल्य को दैनिक +30%, राखिएको7दिन; साप्ताहिक +20%, राखिएको 28 दिन) र स्न्यापसट मुक्त छन्, जो लामो AI Inference चल्छ अघि उपयोगी छ. दुवै सर्भर रूपमा नै भण्डारण क्लस्टर मा बस्न.
फिर्ताको लागि अनुरोध गर्न तपाईंको पहिलो खरीदको 30 दिन भित्र समर्थन सम्पर्क गर्नुहोस्। GPU सर्भरहरू अझै बिक्री गरिएको छैन, त्यसैले कुनै GPU आदेश संलग्न छ।
GPU क्षमता सीमित छ। हामीलाई आफ्नो कार्यभार बारे बताउनुहोस् र हामी उपलब्धता र मूल्यांकन संग जवाफ दिनेछौं।