اجرا LLaMA روی GPU VPS

LLaMA می‌تواند از یک پردازنده گرافیکی NVIDIA برای سرعت بخشیدن به کار خود استفاده کند. کارسازهای پردازنده گرافیکی VPS.org هنوز برای سفارش در دسترس نیستند؛ برای اطلاع از زمان سفارش با ما تماس بگیرید. LLaMA یک بار کاری شتاب‌دار پردازنده گرافیکی عمومی است. مطمئن شوید که نرم‌افزار شما پشتیبانی از CUDA دارد و نسخه‌های راننده/ زمان اجرا با نیازمندی‌های بار کاری LLaMA مطابقت دارد.

سرورهای GPU هنوز برای سفارش در دسترس نیستند. امروزه می‌توانید LLaMA را در یک برنامه CPU معمولی اجرا کنید، جایی که بسیار کندتر از GPU کار می‌کند: SSH در و curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 را اجرا کنید.

نیازهای VRAM برای LLaMA به مدل و اندازه بسته بستگی دارد؛ برای اطلاعات بیشتر مستندات پروژه را بررسی کنید.

قیمت‌گذاری GPU زمانی منتشر خواهد شد که کارگزارهای GPU قابل سفارش باشند. اگر می‌خواهید هنگامی که این اتفاق می‌افتد بدانید با ما تماس بگیرید.

بله هر سرور VPS.org با دسترسی کامل به ریشه میاد پس میتونی ابزارهای دیگه رو همزمان با LLaMA در رم و حافظه سرور اجرا کنی

هر سرور VPS.org با دسترسی کامل root SSH همراه است، بنابراین می‌توانید درایورها، کتابخانه‌ها و LLaMA را هر طور که نیاز دارید نصب کنید.

نه. هیچ سرور با یک زمان اجرا CUDA یا راننده NVIDIA پیش‌فرض نمی‌آید، و سرورهای GPU هنوز برای سفارش در دسترس نیستند. نسخه‌هایی که LLaMA نیاز دارد را خودتان نصب می‌کنید.

بله. سرورهای VPS.org ماشین‌های مجازی پایدار هستند، نه نمونه‌های کوتاه مدت: مدل‌های LLaMA، تنظیمات و داده‌ها در حافظه SSD سرور باقی می‌مانند تا زمانی که آن‌ها را حذف کنید.

داده‌های کار را در SSD سرور برای دسترسی سریع در طول اجرای LLaMA نگه دارید و اشیاء تمام شده (وزن، نسل، embeddings) را به ذخیره خارج از VPS.org کپی کنید؛ عکس‌های لحظه ای و پشتیبان‌ها در همان خوشه ذخیره باقی می‌مانند.

می‌توانید هر کارگزار VPS.org را از پنل کنترل به یک طرح بزرگتر ارتقا دهید؛ تغییر اندازه آن را دوباره شروع می‌کند و نصب LLaMA شما به آن منتقل می‌شود. کارگزارهای GPU هنوز در دسترس نیستند.

بله. پشتیبان‌گیری یک افزونهٔ پرداختی است (روزانه +۳۰٪ از قیمت برنامه، ۷ روز نگه داشته می‌شود؛ هفته ای +۲۰٪، ۲۸ روز نگه داشته می‌شود) و عکس‌های لحظه ای رایگان هستند، که قبل از اجرای طولانی LLaMA مفید است. هر دو در همان خوشه ذخیره‌سازی مانند سرور باقی می‌مانند.

در طول ۳۰ روز از اولین خریدتان با پشتیبانی تماس بگیرید تا درخواست بازپرداخت کنید. سرورهای GPU هنوز فروخته نشده‌اند، بنابراین هیچ سفارش GPU درگیر نیست.