ما در حال آماده‌سازی سرورهای GPU با NVIDIA Tesla P40 (24 GB VRAM، معماری Pascal) برای اجرای LLMهای منبع باز مانند Llama، Mistral و Gemma با Ollama هستیم. سرورهای GPU هنوز قابل سفارش نیستند؛ برای اطلاع از زمان سفارش با ما تماس بگیرید.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# مثال دستور نصب
Ollama یک ابزار سبک برای اجرا کردن مدل‌های زبان بزرگ بر روی ماشین خودتان است. در سرور GPU مدل بر روی GPU به جای CPU اجرا می‌شود ، که پاسخ‌ها را بسیار سریعتر می‌کند.
لاما، میسترال، جما، فی، کوئن و بسیاری از مدل‌های دیگر را با یک فرمان بکشید.
Fits 7B to 13B models comfortably and around 30B models when quantized. 70B models do not fit on one 24 GB card at common quantization levels.
در این حالت، داده‌ها و دستورها در سرور شما باقی می‌مانند و هیچ API دیگری برای آن‌ها وجود ندارد.
Ollama یک نقطه پایانی سازگار با OpenAI را که بسیاری از مشتریان موجود می‌توانند از آن استفاده کنند، نشان می‌دهد.
Ollama می‌تواند از یک GPU NVIDIA برای سرعت بخشیدن به کار خود استفاده کند. کارسازهای GPU VPS.org هنوز برای سفارش در دسترس نیستند؛ برای اطلاع از زمان سفارش آن‌ها با ما تماس بگیرید. Ollama در اصل یک بار کاری LLM-inference / chat است. شما نیاز به خواندن سریع دسترسی تصادفی از دیسک به حافظه و VRAM کافی برای مدل و پنجره متن دارید.
سرورهای GPU هنوز برای سفارش در دسترس نیستند. امروزه می‌توانید Ollama را در یک برنامه CPU معمولی اجرا کنید، جایی که بسیار کندتر از GPU کار می‌کند: SSH در و curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 را اجرا کنید.
LLM استنتاج VRAM با پارامترهای مدل مقیاس: یک مدل 7B نیاز به حدود ۵ تا ۸ گیگابایت VRAM و یک مدل 13B حدود ۱۰ تا ۱۴ گیگابایت، در حالی که مدل‌های کلاس 70B نیاز به چندین GPU یا کوانتیزه کردن سنگین دارند.
قیمت‌گذاری GPU زمانی منتشر خواهد شد که کارگزارهای GPU قابل سفارش باشند. اگر می‌خواهید هنگامی که این اتفاق می‌افتد بدانید با ما تماس بگیرید.
بله هر سرور VPS.org با دسترسی کامل به ریشه میاد پس میتونی ابزارهای دیگه رو همزمان با Ollama در رم و حافظه سرور اجرا کنی
هر سرور VPS.org با دسترسی کامل root SSH همراه است، بنابراین می‌توانید درایورها، کتابخانه‌ها و Ollama را هر طور که نیاز دارید نصب کنید.
نه. هیچ سرور با یک زمان اجرا CUDA یا راننده NVIDIA پیش‌فرض نمی‌آید، و سرورهای GPU هنوز برای سفارش در دسترس نیستند. نسخه‌هایی که Ollama نیاز دارد را خودتان نصب می‌کنید.
بله. سرورهای VPS.org ماشین‌های مجازی پایدار هستند، نه نمونه‌های کوتاه مدت: مدل‌های Ollama، تنظیمات و داده‌ها در حافظه SSD سرور باقی می‌مانند تا زمانی که آن‌ها را حذف کنید.
داده‌های کار را در SSD سرور برای دسترسی سریع در طول اجرای Ollama نگه دارید و اشیاء تمام شده (وزن، نسل، embeddings) را به ذخیره خارج از VPS.org کپی کنید؛ عکس‌های لحظه ای و پشتیبان‌ها در همان خوشه ذخیره باقی می‌مانند.
می‌توانید هر کارگزار VPS.org را از پنل کنترل به یک طرح بزرگتر ارتقا دهید؛ تغییر اندازه آن را دوباره شروع می‌کند و نصب Ollama شما به آن منتقل می‌شود. کارگزارهای GPU هنوز در دسترس نیستند.
بله. پشتیبان‌گیری یک افزونهٔ پرداختی است (روزانه +۳۰٪ از قیمت برنامه، ۷ روز نگه داشته می‌شود؛ هفته ای +۲۰٪، ۲۸ روز نگه داشته می‌شود) و عکس‌های لحظه ای رایگان هستند، که قبل از اجرای طولانی Ollama مفید است. هر دو در همان خوشه ذخیره‌سازی مانند سرور باقی می‌مانند.
در طول ۳۰ روز از اولین خریدتان با پشتیبانی تماس بگیرید تا درخواست بازپرداخت کنید. سرورهای GPU هنوز فروخته نشده‌اند، بنابراین هیچ سفارش GPU درگیر نیست.
ظرفیت GPU محدود است. درباره بار کاری خود به ما بگویید و ما با موجودی و قیمت پاسخ خواهیم داد.