NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) पासून AI मॉडेल पुरवा: LLMs, प्रतिमा मॉडेल आणि इतर भविष्यवाणी. GPU सर्वर अद्याप ऑर्डर करू शकत नाही; ते होते तेव्हा सूचना देण्यासाठी आम्हाला संपर्क करा.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# उदाहरण प्रतिष्ठापन आदेश
AI इन्फरन्स म्हणजे भविष्यवाणी निर्माण करण्यासाठी प्रशिक्षण दिलेले मॉडेल चालवणे. GPU इन्फरन्स सर्वर GPU वर लोड केलेले मॉडेल ठेवते आणि CPU पेक्षा जास्त गतीने विनंतीचे उत्तर देते.
गूगल प्ले स्टोअरवर उपलब्ध असलेल्या या गेमची निर्मिती गूगलने केली असून, गूगल प्ले स्टोअरवर उपलब्ध नसलेल्या गेमची निर्मिती गूगलने केली आहे.
ओल्लामा, लामा.सीपीपी, ट्रीटॉन किंवा स्वतःचे API वापरा. काही चौकट, जसे की vLLM, पास्कल P40 पेक्षा नवीन GPUs आवश्यक आहे.
यासाठी अनेक यंत्रणा वापरल्या जातात, पण यंत्रणा वापरताना काही गोष्टी लक्षात ठेवाव्या लागतात.
या प्रकारात एक किंवा अनेक छोटे खंड असतात.
AI Inference कार्य वेगाने करण्यासाठी NVIDIA GPU चा वापर करू शकते. VPS.org GPU सर्वर अद्याप ऑर्डर करण्यासाठी उपलब्ध नाही; ते उपलब्ध झाल्यास आम्हाला कळवा. AI Inference हे सामान्य GPU- त्वरित कार्यभार आहे. तुमच्या सॉफ्टवेअरमध्ये CUDA समर्थन आहे व तुमच्या ड्राइवर/ रनटाइम आवृत्त्या AI Inference करीता कार्यभार आवश्यकतांशी जुळतात याची खात्री करा.
GPU सर्वर अद्याप ऑर्डर करण्यासाठी उपलब्ध नाही. आज आपण AI Inference नियमित CPU योजनावर चालवू शकता, जिथे ते GPU वरपेक्षा खूपच मंद कार्य करते: SSH मध्ये आणि pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct चालवा.
VRAM needs for AI Inference depend on the model and batch size; check the project documentation for current figures.
GPU सर्वर ऑर्डर करता येतील तेव्हा GPU किंमत प्रकाशित केली जाईल. जेव्हा ते घडेल तेव्हा ऐकायला हवे असल्यास आम्हाला संपर्क करा.
होय. प्रत्येक VPS.org सर्वर पूर्ण रूट प्रवेशासह येतो, म्हणून तुम्ही AI Inference सोबत इतर साधने सर्व्हरच्या RAM आणि संचयीत चालवू शकता.
प्रत्येक VPS.org सर्व्हर पूर्ण रूट SSH प्रवेश येते, म्हणून आपण ड्राइव्हर्स, लायब्ररी आणि AI Inference आवश्यक असल्यास स्थापित करू शकता.
नाही. कुठलेही सर्वर CUDA रनटाइम किंवा NVIDIA ड्राइवर पूर्व-संस्थापित केले नाही, आणि GPU सर्वर अद्याप ऑर्डर करण्याकरीता उपलब्ध नाही. AI Inference आवश्यक आवृत्ती तुम्ही स्वतः प्रतिष्ठापीत करा.
Yes. VPS.org servers are persistent virtual machines, not ephemeral instances: AI Inference models, configs and data stay on the server's SSD storage until you delete them.
Keep working data on the server's SSD for fast access during AI Inference runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
तुम्ही नियंत्रण पटल पासून कोणत्याही VPS.org सर्वर ला मोठ्या प्लॅन वर अपग्रेड करू शकता; आकार बदलणे पुन्हा सुरू होते व तुमचे AI Inference प्रतिष्ठापन पुढे जाते. GPU सर्वर अजून उपलब्ध नाही.
होय. बॅकअप एक भरपाई जोडणी आहे (दिवसभर +30% योजना किंमत,7दिवस ठेवले; आठवड्यातून +20%, 28 दिवस ठेवले) आणि स्नैपशॉट मोफत आहेत, जे AI Inference लांब चालण्यापूर्वी उपयोगी आहे. दोन्ही सर्व्हरसारख्याच साठवण क्लस्टरवर राहतात.
परतफेड मागण्यासाठी तुमच्या पहिल्या खरेदीच्या 30 दिवसांच्या आत समर्थनाचा संपर्क करा. GPU सर्वर अजून विकले गेलेले नाहीत, म्हणून GPU ऑर्डर समाविष्ट नाही.
GPU क्षमता मर्यादित आहे. आम्हाला तुमच्या कार्यभाराविषयी सांगा आणि आम्ही उपलब्धता व किंमत बरोबर उत्तर देऊ.