Послуги модельм комп' ютерного зв' язку з NVIDIA Tesla P40 (24 GB VRAM, Pascal архітектура): LLMs, моделі зображень та інші прогнози. Сервери GPU ще не можна замовляти, щоб нас попереджали про їх існування.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Приклад команди встановлення
AICED - це запуск тренованих моделей для створення прогнозів. Сервер GPU Explence зберігає модель, завантажену на GPU, і відповідає на запити набагато швидшою за процесор.
Тільки через GPU ваш сервер, отже, робота інших клієнтів на роботу з GPU не впливає на запізнення.
Скористайтеся Ollama, Lama. cpp, Tryton або вашим власним API. Для деяких програм, зокрема ILLM, потрібні новіші GPU, ніж P40.
Запустити декілька серверів за вашим власним балансуванням завантаження, якщо одного з серверів недостатньо.
Подавайте одну модель середнього розміру або декілька менших.
AI Inference може використовувати NVIDIA GPU для пришвидшення роботи програми. VPS.org GPU сервери ще не доступні для того, щоб замовляти програми. AI Inference є загальними роботами GPU. Переконайтеся, що у вашому програмному забезпеченні є підтримка CUDA і що ваші драйвери / runtime відповідають вимогам завантаження AI Inference.
Сервери GPU ще не доступні для впорядкування. Сьогодні ви можете запустити AI Inference за допомогою звичайного плану процесора, де він працює набагато повільніше, ніж у GPU: SSH у і запустити pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM потрібен для AI Inference, який залежить від розміру моделі і пакетного розміру; перевірте документацію проекту для поточних рисунків.
Ціноутворення GPU буде опубліковано під час замовлення серверів GPU. Зв' яжіться з нами, якщо ви бажаєте почути, коли це станеться.
Так. Кожен сервер VPS.org має повний доступ до root, отже ви можете запускати інші інструменти поруч з AI Inference у межах пам' яті і сховища сервера.
Кожен сервер VPS.org має повний доступ до SSH, отже, ви можете встановити драйвери, бібліотеки і AI Inference, але вам не доведеться цього робити.
Ні. Сервер не постачається з попередньо встановленим драйвером CUDA або NVIDIA, тому сервери GPU ще не можуть замовляти. Ви встановили версії AI Inference, потрібні вам самі.
Так. Сервери VPS.org є постійними віртуальними комп' ютерами, а не ефемеральними екземплярами: моделями AI Inference, налаштуваннями і даними зберігаються на сховищі SSD сервера, аж доки ви їх не вилучите.
Під час запуску AI Inference продовжують працювати над SSD сервера, а також копіюють завершені артефакти (ваги, покоління, вбудовування) для зберігання поза межами VPS.org; знімки і резервні копії зберігаються на одному з скупчень сховища.
Ви можете оновити будь- який сервер VPS.org до більшого плану на панелі керування; зміна розміру перезапускає програму, а встановлення AI Inference переведе програму на сервер. Сервери GPU ще не доступні.
Так. Резервні копії - це оплачуваний add- on (щоденно +30% ціни плану, зберігаються 7 днів; тижневий +20%, збережений 28 днів), а знімки є безкоштовними, які корисні до тривалих днів запуску AI Inference. Обидва ці записи зберігаються на тому самому скупченні, що і сервер.
Підтримка контактів протягом 30 днів після вашої першої покупки для отримання запиту на повторне фінансування. Сервери GPU ще не продано, отже не буде включено замовлення GPU.
Обмежені можливості процесора, розкажіть нам про ваші робочі місця, і ми дамо відповідь доступністю та ціноутворенням.