我们正在用NVIDIDA Tesla P40 (24GB VRAM,帕斯卡尔建筑) 来准备GPU服务器, 用于与Ollama 一起运行Llama、Mistral和Gemma等开放源LMs( 诸如Llama 、 Mistral 和 Gemma ) 。 GPU服务器尚未可排序; 当 GPU 服务器出现时, 请联系我们, 以便通知 。
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# 示例 安裝命令
Ollama 是一个在自己的机器上运行大型语言模型的轻量级工具。 在 GPU 服务器上,该模型运行在 GPU 而不是 CPU 上, 使得反应更快。
拉拉玛、米斯特拉尔、盖玛、菲、昆和许多其他具有一个指挥权的模型。
Fits 7B to 13B models comfortably and around 30B models when quantized. 70B models do not fit on one 24 GB card at common quantization levels.
提示和数据留在服务器上,没有第三方的API电话。
Ollama揭露了与开放AI兼容的终点,许多现有客户可以使用。
Ollama 可以使用 NVIDIA GPU 来加速工作。 VPS.org GPU 服务器尚未可用, 无法订购; 联系我们以听到 。 Ollama 主要是LLM / 聊天工作量。 您需要快速随机读取磁盘到内存, 并且模型外加上下文窗口有足够的 VRAM 。
GPU 服务器尚未可用以订购 。 今天您可以在常规 CPU 计划中运行 Ollama, 其运行速度远比 GPU 慢得多: SSH 运行 curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 。
具有模型参数的LLM 推导VRAM尺度:7B模型需要VRAM大约5-8GB的VRAM模型和13B模型,需要10-14GB的大约10-14GB,而70B级模型需要若干GPU或重量。
当可以订购 GPU 服务器时, 将会公布 GPU 定价 。 如果您想听到, 请联系我们 。
是的。每个 VPS.org 服务器都带有完整的根访问权限, 这样您就可以在服务器的内存和存储中运行 Ollama 并同时运行其他工具 。
每个 VPS.org 服务器都带有 SSH 根全存, 这样您就可以安装驱动程序、 库和 Ollama 。
否。 没有服务器随 CUDA 运行时间或 NVIDIA 驱动程序预设后而来, 并且 GPU 服务器目前无法订购。 您安装的版本 Ollama 需要自己来操作 。
是的 VPS.org 服务器是持久性虚拟机器,不是短时间的:Ollama 模型、配置和数据保存在服务器的 SSD 存储中,直到您删除它们。
保存服务器 SD 的工作数据, 以便在 Ollama 运行期间快速访问, 并复制完成的文物( 重量、 代、 嵌入) 储存到 VPS.org 之外; 照片和备份保存在同一存储群中 。
您可以将任何 VPS.org 服务器升级为控制面板上更大的计划; 调整大小重新启动, 并让您安装 Ollama 的服务器结转到上。 GPU 服务器尚未可用 。
是的 备份是附加的( 日+30%的计划价格, 保留7天; 周+20%, 保存28天) 和快照是免费的, 在 Ollama 运行之前有用 。 两者都与服务器一样保存在存储群中 。
第一次购买后30天内的联络支持请求退款。 GPU 服务器尚未出售, 所以没有涉及 GPU 订单 。