Самоуправляващи модели на Мета на Llama на NVIDIA Tesla P40 (24 GB VRAM, Паскал архитектура). Съчетани с 8B модели с пълна прецизност и по-големи модели при квантизиране. GPU сървърите все още не са поръчани; свържете се с нас, за да бъдем уведомени, когато са.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Пример на командата за инсталиране
Llama е семейството на Meta от открито достъпни големи езикови модели. Изпълнение на Llama на вашия GPU сървър поддържа бързи и данни.
Изпълнява 8B модели на 24 GB от VRAM. 70B модели не се вписват в един 24 GB карта на общи нива на количествена оценка.
Вашите подсказки и данни остават на вашия сървър, без обаждания на трети страни API.
Използвайте GGUF с lama.cpp или Ollama, или роднини PyTorch тегло.
Сервиране на модели с Ollama или lama.cpp сървър за съгласувана с OpenAI крайна точка.
LLaMA може да използва NVIDIA GPU за ускоряване на работата си. VPS.org GPU сървърите не са на разположение за поръчване все още; свържете се с нас, за да чуете кога са. LLaMA е обща GPU-ускорена работна натовареност. Уверете се, че вашия софтуер има подкрепа на CCDA и че вашият водач / версии на runtime отговарят на изискванията за работна натоварване за LLaMA.
Серверите на GPU все още не са на разположение. Днес можете да стартирате LLaMA по редовен процесорен план, където работи много по-бавно от GPU: SSH в и стартува curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM нуждите за LLaMA зависят от модела и размера на партидата; провери проектната документация за текущи данни.
GPU цената ще бъде публикувана, когато GPU сървърите могат да бъдат поръчани. Свържете се с нас, ако искате да чуете кога ще се случи това.
Да. Всеки сървър VPS.org идва с пълен коренов достъп, така че можете да стартирате други инструменти заедно със LLaMA в рамките на RAM и съхранение на сървъра.
Всеки сървър VPS.org идва с пълен root SSH достъп, така че можете да инсталирате драйвери, библиотеки и LLaMA, както ви трябва.
Не. Няма сървър идва с CUDA рунтиме или NVIDIA драйвер предварително инсталиран, а GPU сървърите не са на разположение за поръчка все още. Инсталирате версиите LLaMA се нуждае от вас.
Да. VPS.org сървърите са упорити виртуални машини, а не ефемерални примери: LLaMA модели, конфигурации и данни остават на SSD съхранението на сървъра, докато ги изтриете.
Продължавайте да работите данни за SSD на сървъра за бърз достъп по време на LLaMA, и копиране на готови артефакти (тежи, поколения, вграждане) до съхранение извън VPS.org; снимки и резервни копия остават на един и същ клъстер за съхранение.
Можете да ъпгрейд на всеки VPS.org сървър към по-голям план от контролния панел; реконструиране на рестартира и инсталирането ви LLaMA пренасочва. GPU сървърите все още не са достъпни.
Да. Резервните копия са платен добавяне (дневно +30% от цената на плана, запазени 7 дни; седмично +20%, запазени 28 дни) и снимките са безплатни, което е полезно преди дългото движение LLaMA. И двете остават на един и същи клъстер като сървъра.
Поддръжка за контакти в рамките на 30 дни от първата ви покупка, за да поискате възстановяване. ГПУ сървърите не са продадени все още, така че не е включена GPU поръчка.
ГПУ капацитета е ограничен. Разкажи ни за натовареността си и ние ще отговорим с наличност и цени.