Сервирайте AI модели от NVIDIA Tesla P40 (24 GB VRAM, Pascal архитектура): LLMs, образи модели и други прогнози. GPU сървърите все още не са поръчани; свържете се с нас, за да бъдете уведомени, когато са.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Пример на командата за инсталиране
AI заключение означава да се използват обучени модели за да се произвеждат прогнози. GPU сървърът за преценка поддържа модел натоварен на GPU и отговори искат много по-бързо от процесор.
ГПУ е преминал само на вашия сървър, така че latency не е засегнат от работните места на други клиенти.
Използвайте Ollama, lama.cpp, Triton или собствения си API. Някои рамки, като VLLM, трябва по-нов ГПУ от Pascal P40.
Пуснете няколко сървъра зад вашия собствен балансатор на товар, ако един GPU не е достатъчно.
Сервирайте един модел с средна големина или няколко по-малки.
AI Inference може да използва NVIDIA GPU за ускоряване на работата си. VPS.org GPU сървърите не са на разположение за поръчване все още; свържете се с нас, за да чуете кога са. AI Inference е обща GPU-ускорена работна натовареност. Уверете се, че вашия софтуер има подкрепа на CCDA и че вашият водач / версии на runtime отговарят на изискванията за работна натоварване за AI Inference.
Серверите на GPU все още не са на разположение. Днес можете да стартирате AI Inference по редовен процесорен план, където работи много по-бавно от GPU: SSH в и стартува pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM нуждите за AI Inference зависят от модела и размера на партидата; провери проектната документация за текущи данни.
GPU цената ще бъде публикувана, когато GPU сървърите могат да бъдат поръчани. Свържете се с нас, ако искате да чуете кога ще се случи това.
Да. Всеки сървър VPS.org идва с пълен коренов достъп, така че можете да стартирате други инструменти заедно със AI Inference в рамките на RAM и съхранение на сървъра.
Всеки сървър VPS.org идва с пълен root SSH достъп, така че можете да инсталирате драйвери, библиотеки и AI Inference, както ви трябва.
Не. Няма сървър идва с CUDA рунтиме или NVIDIA драйвер предварително инсталиран, а GPU сървърите не са на разположение за поръчка все още. Инсталирате версиите AI Inference се нуждае от вас.
Да. VPS.org сървърите са упорити виртуални машини, а не ефемерални примери: AI Inference модели, конфигурации и данни остават на SSD съхранението на сървъра, докато ги изтриете.
Продължавайте да работите данни за SSD на сървъра за бърз достъп по време на AI Inference, и копиране на готови артефакти (тежи, поколения, вграждане) до съхранение извън VPS.org; снимки и резервни копия остават на един и същ клъстер за съхранение.
Можете да ъпгрейд на всеки VPS.org сървър към по-голям план от контролния панел; реконструиране на рестартира и инсталирането ви AI Inference пренасочва. GPU сървърите все още не са достъпни.
Да. Резервните копия са платен добавяне (дневно +30% от цената на плана, запазени 7 дни; седмично +20%, запазени 28 дни) и снимките са безплатни, което е полезно преди дългото движение AI Inference. И двете остават на един и същи клъстер като сървъра.
Поддръжка за контакти в рамките на 30 дни от първата ви покупка, за да поискате възстановяване. ГПУ сървърите не са продадени все още, така че не е включена GPU поръчка.
ГПУ капацитета е ограничен. Разкажи ни за натовареността си и ние ще отговорим с наличност и цени.