NVIDIA Tesla P40 (২৪ GB VRAM, Pascal architecture) থেকে AI মডেল পরিবেশন করুন: LLMs, ছবি মডেল এবং অন্যান্য পূর্বাভাস। GPU সার্ভার এখনও অর্ডার করা যায় না; তারা যখন হবে তখন আমাদের সাথে যোগাযোগ করুন।
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# উদাহরণ ইনস্টল কমান্ড
AI inference মানে পূর্বাভাস তৈরির জন্য প্রশিক্ষিত মডেল চালানো। একটি GPU inference সার্ভার GPU-তে একটি মডেল লোড করে এবং CPU-র চেয়ে অনেক দ্রুততর অনুরোধের উত্তর দেয়।
GPU শুধুমাত্র আপনার সার্ভারে প্রবেশ করানো হয়, তাই অন্যান্য ক্লায়েন্টের GPU কাজ দ্বারা latency প্রভাবিত হয় না।
Ollama, llama.cpp, Triton অথবা আপনার নিজস্ব API ব্যবহার করুন। কিছু ফ্রেমওয়ার্ক, যেমন vLLM, Pascal P40 এর চেয়ে নতুন GPU প্রয়োজন।
একটি GPU যথেষ্ট না হলে আপনার নিজের লোড ভারসাম্যকারীর পিছনে বেশ কয়েকটি সার্ভার চালানো হবে।
এক মাঝারি আকারের মডেল অথবা বেশ কয়েকটি ছোট মডেল পরিবেশন করুন।
AI Inference এর কাজ দ্রুত করতে এনভিডিএ GPU ব্যবহার করতে পারে। VPS.org GPU সার্ভার এখনও অর্ডার করার জন্য উপলব্ধ নয়; তারা যখন হবে তখন আমাদের সাথে যোগাযোগ করুন। AI Inference একটি সাধারণ GPU-এক্সিলেরেটেড ওয়ার্কলোড। নিশ্চিত করুন যে আপনার সফটওয়্যারের CUDA সমর্থন আছে এবং আপনার ড্রাইভার / রনটাইম সংস্করণ AI Inference এর ওয়ার্কলোডের প্রয়োজনীয়তার সাথে মিলছে।
GPU সার্ভার এখনও অর্ডার করার জন্য উপলব্ধ নয়। আজ আপনি AI Inference একটি নিয়মিত CPU পরিকল্পনার উপর চালাতে পারেন, যেখানে এটি একটি GPU এর চেয়ে অনেক ধীরভাবে কাজ করে: SSH এ প্রবেশ করুন এবং pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct চালান।
AI Inference এর জন্য VRAM প্রয়োজন মডেল এবং ব্যাচ আকার উপর নির্ভর করে; বর্তমান সংখ্যার জন্য প্রকল্প নথিপত্র পরীক্ষা করুন।
GPU সার্ভার অর্ডার করা সম্ভব হলে GPU মূল্য প্রকাশ করা হবে। যদি আপনি তা শুনতে চান, তাহলে আমাদের সাথে যোগাযোগ করুন।
হ্যাঁ, প্রত্যেকটি VPS.org সার্ভার সম্পূর্ণ root অ্যাক্সেস সহ আসে, তাই আপনি সার্ভারের RAM এবং স্টোরেজের মধ্যে AI Inference এর সাথে অন্যান্য টুল চালাতে পারেন।
প্রত্যেক VPS.org সার্ভার সম্পূর্ণ root SSH ব্যবহারের সাথে আসে, তাই আপনি ড্রাইভার, লাইব্রেরী এবং AI Inference ইনস্টল করতে পারেন যেভাবে আপনার প্রয়োজন।
না। কোন সার্ভারই CUDA র্যানটাইম অথবা NVIDIA ড্রাইভার পূর্বনির্ধারিতভাবে ইনস্টল করা থাকে না, এবং GPU সার্ভার এখনও অর্ডার করার জন্য উপলব্ধ নয়। আপনি AI Inference এর প্রয়োজনীয় সংস্করণ নিজেই ইনস্টল করুন।
হ্যাঁ। VPS.org সার্ভার স্থায়ী ভার্চুয়াল মেশিন, অস্থায়ী নয়: AI Inference মডেল, কনফিগারেশন এবং ডাটা সার্ভারের SSD স্টোরেজে থাকে যতক্ষণ না আপনি তা মুছে ফেলেন।
AI Inference চালানোর সময় দ্রুত অ্যাক্সেস করার জন্য সার্ভারের SSD-এ কাজের ডাটা রাখুন এবং শেষকৃত্য (ব্যাপার, প্রজন্ম, embeddings) VPS.org-এর বাইরে সংরক্ষণে অনুলিপি করুন; স্ন্যাপশট এবং ব্যাকআপ একই সংরক্ষণ ক্লাস্টারে থাকে।
আপনি নিয়ন্ত্রণ প্যানেল থেকে যেকোন VPS.org সার্ভারকে বড় পরিকল্পনায় উন্নীত করতে পারেন; মাপ পরিবর্তনের ফলে এটি পুনরায় আরম্ভ হবে এবং আপনার AI Inference ইনস্টলেশনের কাজ শেষ হবে। GPU সার্ভার এখনো উপলব্ধ নয়।
হ্যাঁ। ব্যাকআপ একটি পরিশোধিত অ্যাড-অন (প্রতিদিন +30% পরিকল্পনা মূল্য, ৭ দিন ধরে রাখা; সপ্তাহে +20%, 28 দিন ধরে রাখা) এবং স্ন্যাপশট বিনামূল্যে, যা দীর্ঘ AI Inference চালানোর আগে ব্যবহারযোগ্য। উভয়ই সার্ভারের মতো একই স্টোরেজ ক্লাস্টারে থাকে।
আপনার প্রথম ক্রয়ের ৩০ দিনের মধ্যে ফিরে পেতে সহায়তা যোগাযোগ করুন। GPU সার্ভার এখনও বিক্রি করা হয়নি, তাই GPU অর্ডার অন্তর্ভুক্ত নেই।
GPU-র ক্ষমতা সীমিত। আপনার কাজের পরিমাণ সম্পর্কে আমাদের জানান এবং আমরা আপনার জন্য উপলব্ধতা এবং মূল্য নির্ধারণের জন্য উত্তর দেব।