自宿主梅塔在NVIDIA Tesla P40(24GB VRAM,帕斯卡尔建筑)上的Llama模型。在量化时,以完全精确和更大的模型套装到8B模型。 GPU服务器尚未可排序;在通知我们时,请联系我们。
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# 示例 安裝命令
Llama 是Meta 的家族, 拥有公开的大型语言模型。 使用自己的 GPU 服务器运行 Llama, 使提示和数据保持私有性 。
运行 VRAM 24GB的 8B 模型。 70B 模型在通用量化级别上不配使用单一的 24GB 卡。
您的提示和数据留在服务器上, 没有第三方 API 呼叫 。
使用带面粉或Ollama或当地皮托奇重量的GGUF。
Ollama 或 与 loama.cpp 服务器 兼容 OpenAI 的终端服务器的运行模型 。
LLaMA 可以使用 NVIDIA GPU 来加速工作。 VPS.org GPU 服务器尚未可用, 无法订购 ; 请联系我们以听到 。 LLaMA 是通用 GPU 加速的工作。 请确定您的软件有 CUDA 支持, 以及您的驱动器/ 运行时数版本符合 LLaMA 的工作量要求 。
GPU 服务器尚未可用以订购 。 今天您可以在常规 CPU 计划中运行 LLaMA, 其运行速度远比 GPU 慢得多: SSH 运行 curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 。
LLaMA 的 VRAM 需求取决于模型和批量大小; 检查项目文档中当前数字的当前数据 。
当可以订购 GPU 服务器时, 将会公布 GPU 定价 。 如果您想听到, 请联系我们 。
是的。每个 VPS.org 服务器都带有完整的根访问权限, 这样您就可以在服务器的内存和存储中运行 LLaMA 并同时运行其他工具 。
每个 VPS.org 服务器都带有 SSH 根全存, 这样您就可以安装驱动程序、 库和 LLaMA 。
否。 没有服务器随 CUDA 运行时间或 NVIDIA 驱动程序预设后而来, 并且 GPU 服务器目前无法订购。 您安装的版本 LLaMA 需要自己来操作 。
是的 VPS.org 服务器是持久性虚拟机器,不是短时间的:LLaMA 模型、配置和数据保存在服务器的 SSD 存储中,直到您删除它们。
保存服务器 SD 的工作数据, 以便在 LLaMA 运行期间快速访问, 并复制完成的文物( 重量、 代、 嵌入) 储存到 VPS.org 之外; 照片和备份保存在同一存储群中 。
您可以将任何 VPS.org 服务器升级为控制面板上更大的计划; 调整大小重新启动, 并让您安装 LLaMA 的服务器结转到上。 GPU 服务器尚未可用 。
是的 备份是附加的( 日+30%的计划价格, 保留7天; 周+20%, 保存28天) 和快照是免费的, 在 LLaMA 运行之前有用 。 两者都与服务器一样保存在存储群中 。
第一次购买后30天内的联络支持请求退款。 GPU 服务器尚未出售, 所以没有涉及 GPU 订单 。