Пользуйтесь AI моделями из NVIDIA Tesla P40 (24 GB VRAM, Pascal архитектура): LMS, модели изображений и другие прогнозы. серверы GPU пока не заказаны; свяжитесь с нами, чтобы нас уведомили, когда они будут.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Пример команды установки
AI вывод означает запуск подготовленных моделей для подготовки прогнозов. Сервер GPU позволяет сохранить модель загруженной на GPU и ответы требуют гораздо быстрее, чем процессор.
ГИП только на ваш сервер, так что на латентность не влияют рабочие места других клиентов.
Используйте Ollama, llama.cpp, Triton или свой собственный API. Некоторые рамки, такие как VLM, нуждаются в новых GPU, чем Passcal P40.
Запустите несколько серверов за собственный балансатор груза, если одного GPU недостаточно.
Пользуйтесь одной средней или несколькими более мелкими моделями.
AI Inference может использовать GPU NVIDIA для ускорения своей работы. VPS.org GPU пока недоступны для заказа; свяжитесь с нами, чтобы услышать, когда они есть. AI Inference - это общий ускоренный процесс GPU. Убедитесь, что ваше программное обеспечение имеет поддержку CUDA и что ваши версии в режиме работы соответствуют требованиям, предъявляемым к рабочей нагрузке AI Inference.
GPU пока недоступны для заказа. Сегодня вы можете запустить AI Inference на обычном плане процессора, где он работает гораздо медленнее, чем на GPU: SSH в и запуска pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
Потребности в AI Inference для ОРМ зависят от размера модели и партии; проверяйте проектную документацию на текущие цифры.
Цены на GPU будут опубликованы, когда серверы GPU будут заказаны. Свяжитесь с нами, если вы хотите услышать, когда это произойдет.
Каждый сервер VPS.org имеет полный доступ к корневому коду, так что вы можете пропустить другие инструменты вместе с AI Inference в РАМ сервера и его архиве.
Каждый сервер VPS.org имеет полный решетчатый доступ к SSH, так что вы можете устанавливать водителей, библиотеки и AI Inference, как вам нужно.
Нет. ни один сервер не приходит с CDDA, ни драйвер NVIDIA, и серверы GPU пока не готовы заказать. Вы устанавливаете версии AI Inference нужны вам.
Да. серверы VPS.org - это стойкие виртуальные машины, а не эфемерные: модели AI Inference, конфеги и данные остаются на SSD сервера, пока вы их не удалите.
Сохраняйте рабочие данные на сервере SSD для быстрого доступа во время прогонов AI Inference, и копирование готовых артефактов (весы, поколения, встроенные) на хранение за пределами VPS.org; снимки и резервные устройства остаются на одном и том же хранилище.
Вы можете обновить любой сервер VPS.org до более крупного плана с панели управления; перезапуск его и установка AI Inference переносится. серверы GPU пока не доступны.
Да. Резервные копии являются платным дополнением (ежедневно +30% от цены плана, сохранено 7 дней; еженедельно +20%, сохранено 28 дней) и снимки бесплатные, что полезно до продолжительных пробегов AI Inference. Оба остаются в одном блоке хранения, как и сервер.
Контактная поддержка в течение 30 дней после вашей первой покупки для получения возмещения. серверы GPU еще не проданы, так что GPU не связан с заказом.
Власть ГИП ограничена. Расскажите нам о вашей рабочей нагрузке, и мы ответим с помощью имеющихся данных и цен.