Подготвяме сървъри на GPU с NVIDIA Tesla P40 (24 GB VRAM, Паскал архитектура) за работа с отворени LLM-и като Llama, Mistral и Gemma с Ollama. ГПУ сървърите все още не са поръчани; свържете се с нас, за да бъдем уведомени, когато са.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Пример на командата за инсталиране
Ollama е лек инструмент за работа с големи езикови модели на собствена машина. На GPU сървър моделът работи на GPU вместо на процесора, което прави отговорите много по-бързи.
Издърпай Лама, Мистрал, Джема, Фи, Куен и много други модели с една команда.
Подходящ на 7B до 13B модели удобно и около 30B модели при количествено. 70B модели не се вписват в една 24 GB карта на общи нива на количествена оценка.
Питания и данни остават на вашия сървър, без обаждания на трета страна API.
Ollama разкрива съвместима с OpenAI крайна точка, която много съществуващи клиенти могат да използват.
Ollama може да използва NVIDIA GPU за ускоряване на работата си. VPS.org GPU сървърите не са на разположение за поръчване все още; свържете се с нас, за да чуете кога са. Ollama е предимно LLM-inference / chat работна натовареност. Ще искате бързо произволно- достъпни четения от диска към памет и достатъчно VRAM за модела плюс контекстния прозорец.
Серверите на GPU все още не са на разположение. Днес можете да стартирате Ollama по редовен процесорен план, където работи много по-бавно от GPU: SSH в и стартува curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM-преценка VRAM-калибри с параметри на модела: модел 7B се нуждае от около 5 до 8 GB-а на VRAM и модел 13B около 10 до 14 GB-а, докато 70B-категория на моделите се нуждае от няколко GPU-а или тежка количествена.
GPU цената ще бъде публикувана, когато GPU сървърите могат да бъдат поръчани. Свържете се с нас, ако искате да чуете кога ще се случи това.
Да. Всеки сървър VPS.org идва с пълен коренов достъп, така че можете да стартирате други инструменти заедно със Ollama в рамките на RAM и съхранение на сървъра.
Всеки сървър VPS.org идва с пълен root SSH достъп, така че можете да инсталирате драйвери, библиотеки и Ollama, както ви трябва.
Не. Няма сървър идва с CUDA рунтиме или NVIDIA драйвер предварително инсталиран, а GPU сървърите не са на разположение за поръчка все още. Инсталирате версиите Ollama се нуждае от вас.
Да. VPS.org сървърите са упорити виртуални машини, а не ефемерални примери: Ollama модели, конфигурации и данни остават на SSD съхранението на сървъра, докато ги изтриете.
Продължавайте да работите данни за SSD на сървъра за бърз достъп по време на Ollama, и копиране на готови артефакти (тежи, поколения, вграждане) до съхранение извън VPS.org; снимки и резервни копия остават на един и същ клъстер за съхранение.
Можете да ъпгрейд на всеки VPS.org сървър към по-голям план от контролния панел; реконструиране на рестартира и инсталирането ви Ollama пренасочва. GPU сървърите все още не са достъпни.
Да. Резервните копия са платен добавяне (дневно +30% от цената на плана, запазени 7 дни; седмично +20%, запазени 28 дни) и снимките са безплатни, което е полезно преди дългото движение Ollama. И двете остават на един и същи клъстер като сървъра.
Поддръжка за контакти в рамките на 30 дни от първата ви покупка, за да поискате възстановяване. ГПУ сървърите не са продадени все още, така че не е включена GPU поръчка.
ГПУ капацитета е ограничен. Разкажи ни за натовареността си и ние ще отговорим с наличност и цени.