مدل‌های هوش مصنوعی را از یک NVIDIA Tesla P40 (24 GB VRAM، معماری Pascal) ارائه دهید: LLMها، مدل‌های تصویری و سایر پیش‌بینی‌ها. سرورهای GPU هنوز قابل سفارش نیستند؛ با ما تماس بگیرید تا هنگامی که آن‌ها هستند، به شما اطلاع داده شود.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# مثال دستور نصب
یک سرور استنتاج GPU یک مدل را در GPU بارگذاری می‌کند و درخواست‌ها را خیلی سریع‌تر از یک CPU پاسخ می‌دهد.
GPU تنها به سرور شما منتقل می‌شود، بنابراین تأخیر توسط کارهای GPU دیگر مشتریان تحت تأثیر قرار نمی‌گیرد.
از Ollama، llama.cpp، Triton یا API خود استفاده کنید. برخی از چارچوب‌ها، مانند vLLM، نیاز به GPU جدیدتری نسبت به Pascal P40 دارند.
اگر یک GPU کافی نباشد، چندین سرور را پشت load balancer خود اجرا کنید.
یک مدل متوسط یا چند مدل کوچکتر را ارائه دهید.
AI Inference می‌تواند از یک پردازنده گرافیکی NVIDIA برای سرعت بخشیدن به کار خود استفاده کند. کارسازهای پردازنده گرافیکی VPS.org هنوز برای سفارش در دسترس نیستند؛ برای اطلاع از زمان سفارش با ما تماس بگیرید. AI Inference یک بار کاری شتاب‌دار پردازنده گرافیکی عمومی است. مطمئن شوید که نرم‌افزار شما پشتیبانی از CUDA دارد و نسخه‌های راننده/ زمان اجرا با نیازمندی‌های بار کاری AI Inference مطابقت دارد.
سرورهای GPU هنوز برای سفارش در دسترس نیستند. امروزه می‌توانید AI Inference را در یک برنامه CPU معمولی اجرا کنید، جایی که بسیار کندتر از GPU کار می‌کند: SSH در و pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct را اجرا کنید.
نیازهای VRAM برای AI Inference به مدل و اندازه بسته بستگی دارد؛ برای اطلاعات بیشتر مستندات پروژه را بررسی کنید.
قیمت‌گذاری GPU زمانی منتشر خواهد شد که کارگزارهای GPU قابل سفارش باشند. اگر می‌خواهید هنگامی که این اتفاق می‌افتد بدانید با ما تماس بگیرید.
بله هر سرور VPS.org با دسترسی کامل به ریشه میاد پس میتونی ابزارهای دیگه رو همزمان با AI Inference در رم و حافظه سرور اجرا کنی
هر سرور VPS.org با دسترسی کامل root SSH همراه است، بنابراین می‌توانید درایورها، کتابخانه‌ها و AI Inference را هر طور که نیاز دارید نصب کنید.
نه. هیچ سرور با یک زمان اجرا CUDA یا راننده NVIDIA پیش‌فرض نمی‌آید، و سرورهای GPU هنوز برای سفارش در دسترس نیستند. نسخه‌هایی که AI Inference نیاز دارد را خودتان نصب می‌کنید.
بله. سرورهای VPS.org ماشین‌های مجازی پایدار هستند، نه نمونه‌های کوتاه مدت: مدل‌های AI Inference، تنظیمات و داده‌ها در حافظه SSD سرور باقی می‌مانند تا زمانی که آن‌ها را حذف کنید.
داده‌های کار را در SSD سرور برای دسترسی سریع در طول اجرای AI Inference نگه دارید و اشیاء تمام شده (وزن، نسل، embeddings) را به ذخیره خارج از VPS.org کپی کنید؛ عکس‌های لحظه ای و پشتیبان‌ها در همان خوشه ذخیره باقی می‌مانند.
می‌توانید هر کارگزار VPS.org را از پنل کنترل به یک طرح بزرگتر ارتقا دهید؛ تغییر اندازه آن را دوباره شروع می‌کند و نصب AI Inference شما به آن منتقل می‌شود. کارگزارهای GPU هنوز در دسترس نیستند.
بله. پشتیبان‌گیری یک افزونهٔ پرداختی است (روزانه +۳۰٪ از قیمت برنامه، ۷ روز نگه داشته می‌شود؛ هفته ای +۲۰٪، ۲۸ روز نگه داشته می‌شود) و عکس‌های لحظه ای رایگان هستند، که قبل از اجرای طولانی AI Inference مفید است. هر دو در همان خوشه ذخیره‌سازی مانند سرور باقی می‌مانند.
در طول ۳۰ روز از اولین خریدتان با پشتیبانی تماس بگیرید تا درخواست بازپرداخت کنید. سرورهای GPU هنوز فروخته نشده‌اند، بنابراین هیچ سفارش GPU درگیر نیست.
ظرفیت GPU محدود است. درباره بار کاری خود به ما بگویید و ما با موجودی و قیمت پاسخ خواهیم داد.