Мы готовим серверы ГИП с NVIDIA Tesla P40 (24 GB VRAM, Pascal Architecture) для работы с открытыми исходными МПМ, такими как Llama, Mistral и Gemma с Ollama. серверы ГИП пока не заказываются; свяжитесь с нами, когда они будут получены.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Пример команды установки
Ollama - это лёгкий инструмент для запуска больших языковых моделей на вашей собственной машине. На сервере GPU модель работает на GPU, а не на процессоре, что делает ответные реакции гораздо быстрее.
Потяни Ламу, Мистрал, Джемма, Фи, Квен и многие другие модели с одной командой.
При квантизации модели 7B-13B подходят к удобному и около 30B. 70B модели не вписываются в одну 24 GB-карту на общих уровнях квантизации.
Незамедлительные и данные остаются на вашем сервере, без звонков третьей стороны.
Оллама открывает совместимый с OpenAI конечный пункт, который многие существующие клиенты могут использовать.
Ollama может использовать GPU NVIDIA для ускорения своей работы. VPS.org GPU пока недоступны для заказа; свяжитесь с нами, чтобы услышать, когда они есть. Ollama в основном это рабочая нагрузка LLM-погрешности/чата. Вы хотите быстрый случайный доступ с диска к памяти и достаточно VRAM для окна модели плюс контекст.
GPU пока недоступны для заказа. Сегодня вы можете запустить Ollama на обычном плане процессора, где он работает гораздо медленнее, чем на GPU: SSH в и запуска curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Весы VRAM с параметрами модели: модель 7B нуждается в примерно 5-8 ГБ VRAM и модель 13B примерно 10-14 ГБ, а модели 70В класса нуждаются в нескольких GPU или тяжелой квантизации.
Цены на GPU будут опубликованы, когда серверы GPU будут заказаны. Свяжитесь с нами, если вы хотите услышать, когда это произойдет.
Каждый сервер VPS.org имеет полный доступ к корневому коду, так что вы можете пропустить другие инструменты вместе с Ollama в РАМ сервера и его архиве.
Каждый сервер VPS.org имеет полный решетчатый доступ к SSH, так что вы можете устанавливать водителей, библиотеки и Ollama, как вам нужно.
Нет. ни один сервер не приходит с CDDA, ни драйвер NVIDIA, и серверы GPU пока не готовы заказать. Вы устанавливаете версии Ollama нужны вам.
Да. серверы VPS.org - это стойкие виртуальные машины, а не эфемерные: модели Ollama, конфеги и данные остаются на SSD сервера, пока вы их не удалите.
Сохраняйте рабочие данные на сервере SSD для быстрого доступа во время прогонов Ollama, и копирование готовых артефактов (весы, поколения, встроенные) на хранение за пределами VPS.org; снимки и резервные устройства остаются на одном и том же хранилище.
Вы можете обновить любой сервер VPS.org до более крупного плана с панели управления; перезапуск его и установка Ollama переносится. серверы GPU пока не доступны.
Да. Резервные копии являются платным дополнением (ежедневно +30% от цены плана, сохранено 7 дней; еженедельно +20%, сохранено 28 дней) и снимки бесплатные, что полезно до продолжительных пробегов Ollama. Оба остаются в одном блоке хранения, как и сервер.
Контактная поддержка в течение 30 дней после вашей первой покупки для получения возмещения. серверы GPU еще не проданы, так что GPU не связан с заказом.
Власть ГИП ограничена. Расскажите нам о вашей рабочей нагрузке, и мы ответим с помощью имеющихся данных и цен.