NVIDIA Tesla P40 (২৪ GB VRAM, Pascal architecture)-এ মেটা'র Llama মডেল স্ব-হোস্ট করুন। পূর্ণ নির্ভুলতার সাথে 8B মডেল এবং কোয়ান্টাইজ করা হলে বড় মডেলগুলির জন্য উপযুক্ত। GPU সার্ভার এখনও অর্ডার করা যায় না; তারা যখন হবে তখন আমাদের সাথে যোগাযোগ করুন।
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# উদাহরণ ইনস্টল কমান্ড
লামা মেটা'র উন্মুক্তভাবে উপলব্ধ বড় ভাষা মডেলের পরিবার। আপনার নিজের GPU সার্ভারে লামা চালানো প্রম্পট এবং তথ্য গোপন রাখে।
২৪ জিবি ভি-রামে ৮বি মডেল চালায়। সাধারণ কোয়ান্টাইজেশন স্তরে ৭০বি মডেল একক ২৪ জিবি কার্ডে ঢুকবে না।
আপনার প্রম্পট এবং ডাটা আপনার সার্ভারে থাকবে, কোন তৃতীয় পক্ষের API কল ছাড়া।
llama.cpp অথবা Ollama অথবা স্থানীয় PyTorch ওজনের সাথে GGUF ব্যবহার করুন।
Ollama অথবা llama.cpp সার্ভারের সাথে OpenAI-সমর্থিত এনডপয়েন্টের জন্য মডেল পরিবেশন করুন।
LLaMA এর কাজ দ্রুত করতে এনভিডিএ GPU ব্যবহার করতে পারে। VPS.org GPU সার্ভার এখনও অর্ডার করার জন্য উপলব্ধ নয়; তারা যখন হবে তখন আমাদের সাথে যোগাযোগ করুন। LLaMA একটি সাধারণ GPU-এক্সিলেরেটেড ওয়ার্কলোড। নিশ্চিত করুন যে আপনার সফটওয়্যারের CUDA সমর্থন আছে এবং আপনার ড্রাইভার / রনটাইম সংস্করণ LLaMA এর ওয়ার্কলোডের প্রয়োজনীয়তার সাথে মিলছে।
GPU সার্ভার এখনও অর্ডার করার জন্য উপলব্ধ নয়। আজ আপনি LLaMA একটি নিয়মিত CPU পরিকল্পনার উপর চালাতে পারেন, যেখানে এটি একটি GPU এর চেয়ে অনেক ধীরভাবে কাজ করে: SSH এ প্রবেশ করুন এবং curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 চালান।
LLaMA এর জন্য VRAM প্রয়োজন মডেল এবং ব্যাচ আকার উপর নির্ভর করে; বর্তমান সংখ্যার জন্য প্রকল্প নথিপত্র পরীক্ষা করুন।
GPU সার্ভার অর্ডার করা সম্ভব হলে GPU মূল্য প্রকাশ করা হবে। যদি আপনি তা শুনতে চান, তাহলে আমাদের সাথে যোগাযোগ করুন।
হ্যাঁ, প্রত্যেকটি VPS.org সার্ভার সম্পূর্ণ root অ্যাক্সেস সহ আসে, তাই আপনি সার্ভারের RAM এবং স্টোরেজের মধ্যে LLaMA এর সাথে অন্যান্য টুল চালাতে পারেন।
প্রত্যেক VPS.org সার্ভার সম্পূর্ণ root SSH ব্যবহারের সাথে আসে, তাই আপনি ড্রাইভার, লাইব্রেরী এবং LLaMA ইনস্টল করতে পারেন যেভাবে আপনার প্রয়োজন।
না। কোন সার্ভারই CUDA র্যানটাইম অথবা NVIDIA ড্রাইভার পূর্বনির্ধারিতভাবে ইনস্টল করা থাকে না, এবং GPU সার্ভার এখনও অর্ডার করার জন্য উপলব্ধ নয়। আপনি LLaMA এর প্রয়োজনীয় সংস্করণ নিজেই ইনস্টল করুন।
হ্যাঁ। VPS.org সার্ভার স্থায়ী ভার্চুয়াল মেশিন, অস্থায়ী নয়: LLaMA মডেল, কনফিগারেশন এবং ডাটা সার্ভারের SSD স্টোরেজে থাকে যতক্ষণ না আপনি তা মুছে ফেলেন।
LLaMA চালানোর সময় দ্রুত অ্যাক্সেস করার জন্য সার্ভারের SSD-এ কাজের ডাটা রাখুন এবং শেষকৃত্য (ব্যাপার, প্রজন্ম, embeddings) VPS.org-এর বাইরে সংরক্ষণে অনুলিপি করুন; স্ন্যাপশট এবং ব্যাকআপ একই সংরক্ষণ ক্লাস্টারে থাকে।
আপনি নিয়ন্ত্রণ প্যানেল থেকে যেকোন VPS.org সার্ভারকে বড় পরিকল্পনায় উন্নীত করতে পারেন; মাপ পরিবর্তনের ফলে এটি পুনরায় আরম্ভ হবে এবং আপনার LLaMA ইনস্টলেশনের কাজ শেষ হবে। GPU সার্ভার এখনো উপলব্ধ নয়।
হ্যাঁ। ব্যাকআপ একটি পরিশোধিত অ্যাড-অন (প্রতিদিন +30% পরিকল্পনা মূল্য, ৭ দিন ধরে রাখা; সপ্তাহে +20%, 28 দিন ধরে রাখা) এবং স্ন্যাপশট বিনামূল্যে, যা দীর্ঘ LLaMA চালানোর আগে ব্যবহারযোগ্য। উভয়ই সার্ভারের মতো একই স্টোরেজ ক্লাস্টারে থাকে।
আপনার প্রথম ক্রয়ের ৩০ দিনের মধ্যে ফিরে পেতে সহায়তা যোগাযোগ করুন। GPU সার্ভার এখনও বিক্রি করা হয়নি, তাই GPU অর্ডার অন্তর্ভুক্ত নেই।
GPU-র ক্ষমতা সীমিত। আপনার কাজের পরিমাণ সম্পর্কে আমাদের জানান এবং আমরা আপনার জন্য উপলব্ধতা এবং মূল্য নির্ধারণের জন্য উত্তর দেব।