Припремамо ГПУ сервере са НВИДИА Тесла П40 (24 ГБ ВРАМ, Паскал архитектура) за покретање отвореног ЛЛМ‐ а као што су Лама, Мистрал и Гемма са Оломом. ГПУ сервери још увек нису у реду; контактирајте нас да их обавестимо када су.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Прим› јер инсталиране наредбе
Олама је лака алатка за покретање великих језичких модела на сопственој машини. На ГПУ серверу модел ради на ГПУ уместо ЦПУ‐ а, што чини одговоре много бржима.
Повуци Ламу, Мистрал, Џема, Фи, Квен и многе друге моделе са једном командом.
Уклапа 7Б до 13Б модела удобно и око 30Б модела када се квантификује. 70Б модела не уклапају на једној 24 ГБ картице на заједничким нивоима квантизације.
Потраге и подаци остају на серверу, без позива АПИ треће стране.
Олама излаже исход сагласан са ОвенАИ који многи постојећи клијенти могу да користе.
Ollama can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. Ollama is primarily an LLM-inference / chat workload. You will want fast random-access reads from disk to memory and enough VRAM for the model plus context window.
Сервери ГПУ још нису доступни за наручивање. Данас можете покренути Ollama на обичном ЦПУ плану, где ради много спорије него на ГПУ: SSH у и покренути curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
ЛЛМ закључује VRAM с параметрима модела: моделу 7Б је потребно око 5 до 8 ГБ ВРАМ‐ а и 13Б модела око 10 до 14 ГБ, док моделима 70Б-класе треба неколико ГПУ-ова или тешка квантизација.
ГПУ цена ће бити објављена када ГПУ сервери могу бити наручени. Контактирајте нас ако желите да чујете када се то догоди.
Yes. Every VPS.org server comes with full root access, so you can run other tools alongside Ollama within the server's RAM and storage.
Сваки сервер VPS.org долази са пуним коренским СХХ приступом, тако да можете инсталирати драјвере, библиотеке и Ollama како вам је потребно.
No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions Ollama needs yourself.
Yes. VPS.org servers are persistent virtual machines, not ephemeral instances: Ollama models, configs and data stay on the server's SSD storage until you delete them.
Keep working data on the server's SSD for fast access during Ollama runs, and copy finished artifacts (weights, generations, embeddings) to storage outside VPS.org; snapshots and backups stay on the same storage cluster.
Надоградите сваки сервер VPS.org на већи план из контролног панела; промене величине рестартује га и инсталирање зOllama преноси. Сервери ГПУ‐ а још увек нису доступни.
Yes. Backups are a paid add-on (daily +30% of the plan price, kept 7 days; weekly +20%, kept 28 days) and snapshots are free, which is useful before long Ollama runs. Both stay on the same storage cluster as the server.
Подршка за контакте у року од 30 дана од ваше прве куповине захтева повраћај. ГПУ сервери још нису продати, тако да није укључен ГПУ налог.
ГПУ капацитет је ограничен. Реците нам о вашем радном послу и одговорићемо са доступношћу и ценом.