使用来自NVIDIA Tesla P40 (24GB VRAM,帕斯卡尔建筑):LLM、图像模型和其他预测的AI模型。 GPU服务器尚未可排序; 联系我们, 等他们得到通知 。
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# 示例 安裝命令
AI推断意味着运行经过训练的模型来产生预测。 一种 GPU 推断服务器保存着一个在 GPU 上装入的模型, 答案要求比 CPU 更快。
GPU 被单独传送到服务器, 所以延时不会受到其他客户 GPU 工作的影响 。
使用 Ollama、 llama.cpp、 Triton 或你自己的 API 。 某些框架, 如 vLLM, 需要比 Pascal P40 更新的 GPU 。
如果一个 GPU 不够, 则在您的负载平衡器后运行多个服务器 。
服一个中型模型或几个较小的模型。
AI Inference 可以使用 NVIDIA GPU 来加速工作。 VPS.org GPU 服务器尚未可用, 无法订购 ; 请联系我们以听到 。 AI Inference 是通用 GPU 加速的工作。 请确定您的软件有 CUDA 支持, 以及您的驱动器/ 运行时数版本符合 AI Inference 的工作量要求 。
GPU 服务器尚未可用以订购 。 今天您可以在常规 CPU 计划中运行 AI Inference, 其运行速度远比 GPU 慢得多: SSH 运行 pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct 。
AI Inference 的 VRAM 需求取决于模型和批量大小; 检查项目文档中当前数字的当前数据 。
当可以订购 GPU 服务器时, 将会公布 GPU 定价 。 如果您想听到, 请联系我们 。
是的。每个 VPS.org 服务器都带有完整的根访问权限, 这样您就可以在服务器的内存和存储中运行 AI Inference 并同时运行其他工具 。
每个 VPS.org 服务器都带有 SSH 根全存, 这样您就可以安装驱动程序、 库和 AI Inference 。
否。 没有服务器随 CUDA 运行时间或 NVIDIA 驱动程序预设后而来, 并且 GPU 服务器目前无法订购。 您安装的版本 AI Inference 需要自己来操作 。
是的 VPS.org 服务器是持久性虚拟机器,不是短时间的:AI Inference 模型、配置和数据保存在服务器的 SSD 存储中,直到您删除它们。
保存服务器 SD 的工作数据, 以便在 AI Inference 运行期间快速访问, 并复制完成的文物( 重量、 代、 嵌入) 储存到 VPS.org 之外; 照片和备份保存在同一存储群中 。
您可以将任何 VPS.org 服务器升级为控制面板上更大的计划; 调整大小重新启动, 并让您安装 AI Inference 的服务器结转到上。 GPU 服务器尚未可用 。
是的 备份是附加的( 日+30%的计划价格, 保留7天; 周+20%, 保存28天) 和快照是免费的, 在 AI Inference 运行之前有用 。 两者都与服务器一样保存在存储群中 。
第一次购买后30天内的联络支持请求退款。 GPU 服务器尚未出售, 所以没有涉及 GPU 订单 。