Coming soon: NVIDIA Tesla P40, 24 GB VRAM

GPU VPS वर LLaMA चालवा

NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) वर मेटा चे लॅमा मॉडेल स्व-होस्ट करा. पूर्ण अचूकतेने 8B मॉडेल आणि मोठे मॉडेल साठी योग्य आहे जेव्हा क्वांटाइज केले जाते. GPU सर्वर अजूनही ऑर्डर करू शकत नाही; ते झाल्यावर सूचना देण्यासाठी आम्हाला संपर्क करा.

$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# उदाहरण प्रतिष्ठापन आदेश

याचा अर्थ काय?

लामा हे मेटा मधील खुले उपलब्ध मोठ्या भाषा मॉडेलचे कुटुंब आहे. तुमच्या स्वतःच्या GPU सर्वर वर लामा चालविणे प्रोम्ट व माहिती गुप्त ठेवते.

LLaMA VPS.org GPU सर्वर वर

फ्लेम38B

Runs 8B models on 24 GB of VRAM. 70B models do not fit on a single 24 GB card at common quantization levels.

खाजगी वितरण

या योजनेत कोणत्याही प्रकारची शुल्के किंवा सेवा शुल्के नसतात व कोणत्याही प्रकारची शुल्के किंवा सेवा शुल्के नसतात.

नमूना स्वरूपन

GGUF ला लामा.cpp किंवा ओल्लामा, किंवा मूळ पायटोर्च वजन वापरा.

OpenAI- सुसंगत API

या योजनेत या योजनेत सहभागी होणाऱ्या संस्था किंवा व्यक्तींना एकत्रितपणे एक

लोकप्रिय LLaMA वापरा प्रकरणे

खाजगी AI सहाय्यक
दस्तऐवज विश्लेषण
कोड निर्मिती
विषयवस्तु लेखन
ग्राहक समर्थन रॉबट्स
आंतरीक AI साधन

योजनाबद्ध GPU वैशिष्ट्ये

GPUNVIDIA Tesla P40
VRAM24 GB GDDR5
CUDA रंग3,840
एफपी३२12 TFLOPS
INT847 TOPS
स्मृती BW346 GB/s
आर्किटेक्चरPascal (GP102)
पासथ्रूPCIe पासथ्रू

वारंवार विचारले जाणारे प्रश्न

What is LLaMA on a GPU VPS?

+

LLaMA कार्य वेगाने करण्यासाठी NVIDIA GPU चा वापर करू शकते. VPS.org GPU सर्वर अद्याप ऑर्डर करण्यासाठी उपलब्ध नाही; ते उपलब्ध झाल्यास आम्हाला कळवा. LLaMA हे सामान्य GPU- त्वरित कार्यभार आहे. तुमच्या सॉफ्टवेअरमध्ये CUDA समर्थन आहे व तुमच्या ड्राइवर/ रनटाइम आवृत्त्या LLaMA करीता कार्यभार आवश्यकतांशी जुळतात याची खात्री करा.

LLaMA GPU VPS वर मी कसे स्थापित करू?

+

GPU सर्वर अद्याप ऑर्डर करण्यासाठी उपलब्ध नाही. आज आपण LLaMA नियमित CPU योजनावर चालवू शकता, जिथे ते GPU वरपेक्षा खूपच मंद कार्य करते: SSH मध्ये आणि curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 चालवा.

LLaMA साठी मला किती VRAM ची गरज आहे?

+

VRAM needs for LLaMA depend on the model and batch size; check the project documentation for current figures.

LLaMA साठी GPU सर्व्हर किती खर्च येईल?

+

GPU सर्वर ऑर्डर करता येतील तेव्हा GPU किंमत प्रकाशित केली जाईल. जेव्हा ते घडेल तेव्हा ऐकायला हवे असल्यास आम्हाला संपर्क करा.

मी LLaMA सोबत इतर साधने चालवू शकतो का?

+

होय. प्रत्येक VPS.org सर्वर पूर्ण रूट प्रवेशासह येतो, म्हणून तुम्ही LLaMA सोबत इतर साधने सर्व्हरच्या RAM आणि संचयीत चालवू शकता.

मला LLaMA GPU VPS वर पूर्ण रूट मिळते का?

+

प्रत्येक VPS.org सर्व्हर पूर्ण रूट SSH प्रवेश येते, म्हणून आपण ड्राइव्हर्स, लायब्ररी आणि LLaMA आवश्यक असल्यास स्थापित करू शकता.

VPS.org LLaMA साठी CUDA पूर्वसंस्थापित करते का?

+

नाही. कुठलेही सर्वर CUDA रनटाइम किंवा NVIDIA ड्राइवर पूर्व-संस्थापित केले नाही, आणि GPU सर्वर अद्याप ऑर्डर करण्याकरीता उपलब्ध नाही. LLaMA आवश्यक आवृत्ती तुम्ही स्वतः प्रतिष्ठापीत करा.

माझे LLaMA GPU VPS सत्रांदरम्यान टिकते का?

+

Yes. VPS.org servers are persistent virtual machines, not ephemeral instances: LLaMA models, configs and data stay on the server's SSD storage until you delete them.

मी माझ्या LLaMA कार्यभारासाठी डेटा कुठे साठवावा?

+

Keep working data on the server's SSD for fast access during LLaMA runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.

LLaMA GPU VPS नंतर मी माप करू शकतो?

+

तुम्ही नियंत्रण पटल पासून कोणत्याही VPS.org सर्वर ला मोठ्या प्लॅन वर अपग्रेड करू शकता; आकार बदलणे पुन्हा सुरू होते व तुमचे LLaMA प्रतिष्ठापन पुढे जाते. GPU सर्वर अजून उपलब्ध नाही.

माझे GPU VPS साठी बॅकअप उपलब्ध आहे का?

+

होय. बॅकअप एक भरपाई जोडणी आहे (दिवसभर +30% योजना किंमत,7दिवस ठेवले; आठवड्यातून +20%, 28 दिवस ठेवले) आणि स्नैपशॉट मोफत आहेत, जे LLaMA लांब चालण्यापूर्वी उपयोगी आहे. दोन्ही सर्व्हरसारख्याच साठवण क्लस्टरवर राहतात.

मला परतफेड मिळू शकते का?

+

परतफेड मागण्यासाठी तुमच्या पहिल्या खरेदीच्या 30 दिवसांच्या आत समर्थनाचा संपर्क करा. GPU सर्वर अजून विकले गेलेले नाहीत, म्हणून GPU ऑर्डर समाविष्ट नाही.

LLaMA ला GPU सर्वर वर चालवायचे आहे का?

GPU क्षमता मर्यादित आहे. आम्हाला तुमच्या कार्यभाराविषयी सांगा आणि आम्ही उपलब्धता व किंमत बरोबर उत्तर देऊ.