Служете го ВИ од NVIDIA Tesla P40 (24 GB VRAM, Паскал архитектура): LLMs, имиџ модели и други предвидувања. Серверите на ГПУ сé уште не се наредени; контактирајте со нас за да бидеме известени кога ќе бидат.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Пример на команда за инсталирање
Заклучокот на ВИ значи извршување на обучени модели за да се произведат предвидувања. Серверот за ГПУ за заклучување го држи моделот вчитан во ГПУ и одговара на барањата многу побрзо од процесорот.
ГПУ е префрлен само на вашиот сервер, па не е погоден од други муштерии.
Use Ollama, llama.cpp, Triton or your own API. Some frameworks, such as vLLM, need newer GPUs than the Pascal P40.
Извршете неколку сервери зад вашиот сопствен балансер ако еден GPU не е доволен.
Сервирај еден модел од средниот размер или неколку помали.
AI Inference може да користи NVIDIA GPU за да ја забрза својата работа. VPS.org GPU- серверите не се достапни за нарачка; контактирајте со нас за да ги слушнете кога се. AI Inference е генерална GPU- прибрзана работа. Проверете дали вашиот софтвер има поддршка за CCDA и дека вашите верзии на управувачот/ извршниот време се совпаѓаат со барањата за работна работа за AI Inference.
Серверите на GPU се уште не се достапни за нарачка. Денес можете да го извршите AI Inference на редовен ЦПУ план, каде што работи многу побавно отколку на GPU: SSH и да го извршите pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
Потребни се VRAM за AI Inference зависат од моделот и партидата; проверете ја документацијата за проект за тековните бројки.
GPU цените ќе бидат објавени кога ќе можат да бидат нарачани серверите на GPU. Контактирајте со нас ако сакате да слушнете кога ќе се случи тоа.
Да. Секој VPS.org сервер доаѓа со целосен коренски пристап, така што можете да извршите други алатки заедно со AI Inference во рамките на RAM и складиштето на серверот.
Секој VPS.org сервер доаѓа со целосен root SSH пристап, така што можете да инсталирате управувачи, библиотеки и AI Inference како што ви треба.
Не. Серверот не доаѓа со претходно инсталиран CCDA рунтиme или NVIDIA управувач, а GPU- серверите се уште не се достапни за нарачка. Ги инсталирате верзиите на AI Inference и самиот.
Да. VPS.org серверите се упорни виртуелни машини, а не ефемерни примероци: AI Inference модели, конфигурации и податоци остануваат на SSD- чуварот на серверот додека не ги избришете.
Продолжи да работиш на податоците за SSD на серверот за брз пристап за време на извршувањето на AI Inference и копирај ги завршените артефакти (тежи, генерации, вгравки) во складиште надвор од VPS.org; снимките и резервните копии остануваат на истиот кластер за складирање.
Може да го надоградите секој VPS.org сервер на поголем план од контролниот панел; големината на големината го рестартира и вашата AI Inference инсталирање пренесува. GPU- серверите сѐ уште не се достапни.
Да. Заштитните копии се платено додавање (денес +30% од цената на планот, задржани 7 дена; неделно +20%, задржани 28 дена) и снимките се бесплатни, што е корисно пред долгото трчање AI Inference. И двете остануваат на истиот кластер за складирање како серверот.
Контакт поддршката за контакти во рок од 30 дена од вашата прва купба за да побарате враќање на парите. ГПУ серверите сеуште не се продадени, па не е вклучена нарачка на ГПУ.
Кажете ни за вашата работа и ќе одговориме со достапност и цени.