Модель Llama, разработанная компанией NVIDIA Tesla P40 (24 GB VRAM, Pascal Architecture). При квантизации она была готова к 8B моделям с полной точностью и большим размерам. Серверы GPU пока не заказаны; свяжитесь с нами, чтобы нас уведомили, когда они будут.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Пример команды установки
Llama - это семья открытых моделей большого языка, которые работают на вашем сервере GPU, хранят сигналы и данные в секрете.
Запустить 8B модели на 24 GB VRAM. 70B модели не вписываются в одну 24 GB-карту на общих уровнях квантизации.
Ваши запросы и данные остаются на вашем сервере, без звонков третьей стороны.
Использовать GGUF с лимфатическими или оламскими весами или с местными ПиТорчами.
Пользуйтесь моделями с Олламой или сервером Llama.cpp для совместимых с OpenAI конечных точек.
LLaMA может использовать GPU NVIDIA для ускорения своей работы. VPS.org GPU пока недоступны для заказа; свяжитесь с нами, чтобы услышать, когда они есть. LLaMA - это общий ускоренный процесс GPU. Убедитесь, что ваше программное обеспечение имеет поддержку CUDA и что ваши версии в режиме работы соответствуют требованиям, предъявляемым к рабочей нагрузке LLaMA.
GPU пока недоступны для заказа. Сегодня вы можете запустить LLaMA на обычном плане процессора, где он работает гораздо медленнее, чем на GPU: SSH в и запуска curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Потребности в LLaMA для ОРМ зависят от размера модели и партии; проверяйте проектную документацию на текущие цифры.
Цены на GPU будут опубликованы, когда серверы GPU будут заказаны. Свяжитесь с нами, если вы хотите услышать, когда это произойдет.
Каждый сервер VPS.org имеет полный доступ к корневому коду, так что вы можете пропустить другие инструменты вместе с LLaMA в РАМ сервера и его архиве.
Каждый сервер VPS.org имеет полный решетчатый доступ к SSH, так что вы можете устанавливать водителей, библиотеки и LLaMA, как вам нужно.
Нет. ни один сервер не приходит с CDDA, ни драйвер NVIDIA, и серверы GPU пока не готовы заказать. Вы устанавливаете версии LLaMA нужны вам.
Да. серверы VPS.org - это стойкие виртуальные машины, а не эфемерные: модели LLaMA, конфеги и данные остаются на SSD сервера, пока вы их не удалите.
Сохраняйте рабочие данные на сервере SSD для быстрого доступа во время прогонов LLaMA, и копирование готовых артефактов (весы, поколения, встроенные) на хранение за пределами VPS.org; снимки и резервные устройства остаются на одном и том же хранилище.
Вы можете обновить любой сервер VPS.org до более крупного плана с панели управления; перезапуск его и установка LLaMA переносится. серверы GPU пока не доступны.
Да. Резервные копии являются платным дополнением (ежедневно +30% от цены плана, сохранено 7 дней; еженедельно +20%, сохранено 28 дней) и снимки бесплатные, что полезно до продолжительных пробегов LLaMA. Оба остаются в одном блоке хранения, как и сервер.
Контактная поддержка в течение 30 дней после вашей первой покупки для получения возмещения. серверы GPU еще не проданы, так что GPU не связан с заказом.
Власть ГИП ограничена. Расскажите нам о вашей рабочей нагрузке, и мы ответим с помощью имеющихся данных и цен.