আমরা NVIDIA Tesla P40 (২৪ GB VRAM, Pascal architecture) সহ GPU সার্ভার তৈরি করছি উন্মুক্ত উৎস LLMs যেমন লামা, মিস্ট্রাল এবং Ollama এর সাথে Gemma চালানোর জন্য। GPU সার্ভার এখনও অর্ডার করা সম্ভব নয়; তারা যখন হবে তখন আমাদের সাথে যোগাযোগ করুন।
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# উদাহরণ ইনস্টল কমান্ড
Ollama একটি হালকা টুল যা আপনার নিজের মেশিনে বড় ভাষা মডেল চালানোর জন্য ব্যবহার করা যায়। একটি GPU সার্ভারে মডেল CPU এর পরিবর্তে GPU-এ চালানো হয়, যা উত্তরের গতি অনেক দ্রুত করে।
একটি কমান্ডের সাথে লামা, মিস্ট্রাল, জেমা, ফি, কুয়েন এবং অনেক অন্যান্য মডেল টানুন।
7B থেকে 13B মডেলকে আরামদায়কভাবে এবং কোয়ান্টাইজ করা হলে ৩০B মডেলের কাছাকাছি আঁটকে রাখে। সাধারণ কোয়ান্টাইজেশন স্তরে 70B মডেল একটি ২৪ জিবি কার্ডে আঁটকা যায় না।
প্রম্পট এবং ডাটা আপনার সার্ভারে থাকবে, কোন তৃতীয় পক্ষের API কল ছাড়া।
ওল্লামা একটি ওপেনএআই-সমর্থিত এন্ডপয়েন্ট প্রকাশ করে যা অনেক বিদ্যমান ক্লায়েন্ট ব্যবহার করতে পারে।
Ollama এর কাজ দ্রুত করতে এনভিডিএ GPU ব্যবহার করতে পারে। VPS.org GPU সার্ভার এখনও অর্ডার করার জন্য উপলব্ধ নয়; তারা যখন হবে তখন আমাদের সাথে যোগাযোগ করুন। Ollama মূলত একটি LLM-inference / chat workload। আপনি ডিস্ক থেকে মেমরি এবং মডেল এবং কনটেক্সট উইন্ডোর জন্য যথেষ্ট VRAM থেকে দ্রুত এলোমেলোভাবে পড়া চান।
GPU সার্ভার এখনও অর্ডার করার জন্য উপলব্ধ নয়। আজ আপনি Ollama একটি নিয়মিত CPU পরিকল্পনার উপর চালাতে পারেন, যেখানে এটি একটি GPU এর চেয়ে অনেক ধীরভাবে কাজ করে: SSH এ প্রবেশ করুন এবং curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 চালান।
LLM অনুমান VRAM মডেল প্যারামিটার সঙ্গে স্কেল: একটি 7B মডেল প্রয়োজন প্রায়5থেকে 8 GB VRAM এবং একটি 13B মডেল প্রায় 10 থেকে 14 GB, যখন 70B-শ্রেণীর মডেল প্রয়োজন বেশ কয়েকটি GPUs বা ভারী কোয়ান্টাইজেশন।
GPU সার্ভার অর্ডার করা সম্ভব হলে GPU মূল্য প্রকাশ করা হবে। যদি আপনি তা শুনতে চান, তাহলে আমাদের সাথে যোগাযোগ করুন।
হ্যাঁ, প্রত্যেকটি VPS.org সার্ভার সম্পূর্ণ root অ্যাক্সেস সহ আসে, তাই আপনি সার্ভারের RAM এবং স্টোরেজের মধ্যে Ollama এর সাথে অন্যান্য টুল চালাতে পারেন।
প্রত্যেক VPS.org সার্ভার সম্পূর্ণ root SSH ব্যবহারের সাথে আসে, তাই আপনি ড্রাইভার, লাইব্রেরী এবং Ollama ইনস্টল করতে পারেন যেভাবে আপনার প্রয়োজন।
না। কোন সার্ভারই CUDA র্যানটাইম অথবা NVIDIA ড্রাইভার পূর্বনির্ধারিতভাবে ইনস্টল করা থাকে না, এবং GPU সার্ভার এখনও অর্ডার করার জন্য উপলব্ধ নয়। আপনি Ollama এর প্রয়োজনীয় সংস্করণ নিজেই ইনস্টল করুন।
হ্যাঁ। VPS.org সার্ভার স্থায়ী ভার্চুয়াল মেশিন, অস্থায়ী নয়: Ollama মডেল, কনফিগারেশন এবং ডাটা সার্ভারের SSD স্টোরেজে থাকে যতক্ষণ না আপনি তা মুছে ফেলেন।
Ollama চালানোর সময় দ্রুত অ্যাক্সেস করার জন্য সার্ভারের SSD-এ কাজের ডাটা রাখুন এবং শেষকৃত্য (ব্যাপার, প্রজন্ম, embeddings) VPS.org-এর বাইরে সংরক্ষণে অনুলিপি করুন; স্ন্যাপশট এবং ব্যাকআপ একই সংরক্ষণ ক্লাস্টারে থাকে।
আপনি নিয়ন্ত্রণ প্যানেল থেকে যেকোন VPS.org সার্ভারকে বড় পরিকল্পনায় উন্নীত করতে পারেন; মাপ পরিবর্তনের ফলে এটি পুনরায় আরম্ভ হবে এবং আপনার Ollama ইনস্টলেশনের কাজ শেষ হবে। GPU সার্ভার এখনো উপলব্ধ নয়।
হ্যাঁ। ব্যাকআপ একটি পরিশোধিত অ্যাড-অন (প্রতিদিন +30% পরিকল্পনা মূল্য, ৭ দিন ধরে রাখা; সপ্তাহে +20%, 28 দিন ধরে রাখা) এবং স্ন্যাপশট বিনামূল্যে, যা দীর্ঘ Ollama চালানোর আগে ব্যবহারযোগ্য। উভয়ই সার্ভারের মতো একই স্টোরেজ ক্লাস্টারে থাকে।
আপনার প্রথম ক্রয়ের ৩০ দিনের মধ্যে ফিরে পেতে সহায়তা যোগাযোগ করুন। GPU সার্ভার এখনও বিক্রি করা হয়নি, তাই GPU অর্ডার অন্তর্ভুক্ত নেই।
GPU-র ক্ষমতা সীমিত। আপনার কাজের পরিমাণ সম্পর্কে আমাদের জানান এবং আমরা আপনার জন্য উপলব্ধতা এবং মূল্য নির্ধারণের জন্য উত্তর দেব।