Coming soon: NVIDIA Tesla P40, 24 GB VRAM

AI इन्फरन्स GPU सर्वरName

NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) पासून AI मॉडेल पुरवा: LLMs, प्रतिमा मॉडेल आणि इतर भविष्यवाणी. GPU सर्वर अद्याप ऑर्डर करू शकत नाही; ते होते तेव्हा सूचना देण्यासाठी आम्हाला संपर्क करा.

$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# उदाहरण प्रतिष्ठापन आदेश

याचा अर्थ काय?

AI इन्फरन्स म्हणजे भविष्यवाणी निर्माण करण्यासाठी प्रशिक्षण दिलेले मॉडेल चालवणे. GPU इन्फरन्स सर्वर GPU वर लोड केलेले मॉडेल ठेवते आणि CPU पेक्षा जास्त गतीने विनंतीचे उत्तर देते.

AI Inference VPS.org GPU सर्वर वर

GPU सामायिक नाही

गूगल प्ले स्टोअरवर उपलब्ध असलेल्या या गेमची निर्मिती गूगलने केली असून, गूगल प्ले स्टोअरवर उपलब्ध नसलेल्या गेमची निर्मिती गूगलने केली आहे.

चौकट सेवा

ओल्लामा, लामा.सीपीपी, ट्रीटॉन किंवा स्वतःचे API वापरा. काही चौकट, जसे की vLLM, पास्कल P40 पेक्षा नवीन GPUs आवश्यक आहे.

स्वतःचे आकार बदलविणे

यासाठी अनेक यंत्रणा वापरल्या जातात, पण यंत्रणा वापरताना काही गोष्टी लक्षात ठेवाव्या लागतात.

24 GB VRAM

या प्रकारात एक किंवा अनेक छोटे खंड असतात.

लोकप्रिय AI Inference वापरा प्रकरणे

LLM API अंतबिंदू
प्रतिमा निर्मिती APIs
वार्ता- ते- पाठ्य सेवाName
संगणक दृष्टी APIs
शिफारस इंजिन
वास्तविक वेळ भविष्यवाणी

योजनाबद्ध GPU वैशिष्ट्ये

GPUNVIDIA Tesla P40
VRAM24 GB GDDR5
CUDA रंग3,840
एफपी३२12 TFLOPS
INT847 TOPS
स्मृती BW346 GB/s
आर्किटेक्चरPascal (GP102)
पासथ्रूPCIe पासथ्रू

वारंवार विचारले जाणारे प्रश्न

What is AI Inference on a GPU VPS?

+

AI Inference कार्य वेगाने करण्यासाठी NVIDIA GPU चा वापर करू शकते. VPS.org GPU सर्वर अद्याप ऑर्डर करण्यासाठी उपलब्ध नाही; ते उपलब्ध झाल्यास आम्हाला कळवा. AI Inference हे सामान्य GPU- त्वरित कार्यभार आहे. तुमच्या सॉफ्टवेअरमध्ये CUDA समर्थन आहे व तुमच्या ड्राइवर/ रनटाइम आवृत्त्या AI Inference करीता कार्यभार आवश्यकतांशी जुळतात याची खात्री करा.

AI Inference GPU VPS वर मी कसे स्थापित करू?

+

GPU सर्वर अद्याप ऑर्डर करण्यासाठी उपलब्ध नाही. आज आपण AI Inference नियमित CPU योजनावर चालवू शकता, जिथे ते GPU वरपेक्षा खूपच मंद कार्य करते: SSH मध्ये आणि pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct चालवा.

AI Inference साठी मला किती VRAM ची गरज आहे?

+

VRAM needs for AI Inference depend on the model and batch size; check the project documentation for current figures.

AI Inference साठी GPU सर्व्हर किती खर्च येईल?

+

GPU सर्वर ऑर्डर करता येतील तेव्हा GPU किंमत प्रकाशित केली जाईल. जेव्हा ते घडेल तेव्हा ऐकायला हवे असल्यास आम्हाला संपर्क करा.

मी AI Inference सोबत इतर साधने चालवू शकतो का?

+

होय. प्रत्येक VPS.org सर्वर पूर्ण रूट प्रवेशासह येतो, म्हणून तुम्ही AI Inference सोबत इतर साधने सर्व्हरच्या RAM आणि संचयीत चालवू शकता.

मला AI Inference GPU VPS वर पूर्ण रूट मिळते का?

+

प्रत्येक VPS.org सर्व्हर पूर्ण रूट SSH प्रवेश येते, म्हणून आपण ड्राइव्हर्स, लायब्ररी आणि AI Inference आवश्यक असल्यास स्थापित करू शकता.

VPS.org AI Inference साठी CUDA पूर्वसंस्थापित करते का?

+

नाही. कुठलेही सर्वर CUDA रनटाइम किंवा NVIDIA ड्राइवर पूर्व-संस्थापित केले नाही, आणि GPU सर्वर अद्याप ऑर्डर करण्याकरीता उपलब्ध नाही. AI Inference आवश्यक आवृत्ती तुम्ही स्वतः प्रतिष्ठापीत करा.

माझे AI Inference GPU VPS सत्रांदरम्यान टिकते का?

+

Yes. VPS.org servers are persistent virtual machines, not ephemeral instances: AI Inference models, configs and data stay on the server's SSD storage until you delete them.

मी माझ्या AI Inference कार्यभारासाठी डेटा कुठे साठवावा?

+

Keep working data on the server's SSD for fast access during AI Inference runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.

AI Inference GPU VPS नंतर मी माप करू शकतो?

+

तुम्ही नियंत्रण पटल पासून कोणत्याही VPS.org सर्वर ला मोठ्या प्लॅन वर अपग्रेड करू शकता; आकार बदलणे पुन्हा सुरू होते व तुमचे AI Inference प्रतिष्ठापन पुढे जाते. GPU सर्वर अजून उपलब्ध नाही.

माझे GPU VPS साठी बॅकअप उपलब्ध आहे का?

+

होय. बॅकअप एक भरपाई जोडणी आहे (दिवसभर +30% योजना किंमत,7दिवस ठेवले; आठवड्यातून +20%, 28 दिवस ठेवले) आणि स्नैपशॉट मोफत आहेत, जे AI Inference लांब चालण्यापूर्वी उपयोगी आहे. दोन्ही सर्व्हरसारख्याच साठवण क्लस्टरवर राहतात.

मला परतफेड मिळू शकते का?

+

परतफेड मागण्यासाठी तुमच्या पहिल्या खरेदीच्या 30 दिवसांच्या आत समर्थनाचा संपर्क करा. GPU सर्वर अजून विकले गेलेले नाहीत, म्हणून GPU ऑर्डर समाविष्ट नाही.

AI Inference ला GPU सर्वर वर चालवायचे आहे का?

GPU क्षमता मर्यादित आहे. आम्हाला तुमच्या कार्यभाराविषयी सांगा आणि आम्ही उपलब्धता व किंमत बरोबर उत्तर देऊ.