Chúng tôi đang chuẩn bị máy chủ GPU với NVIDIA Tesla P40 (24 GB VRAM, kiến trúc Pascal) để chạy các LLM nguồn mở như Llama, Mistral và Gemma với Ollama. Các máy chủ GPU chưa được đặt hàng; liên hệ với chúng tôi để được thông báo khi chúng được đặt hàng.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Lệnh cài đặt ví dụ
Ollama là công cụ nhẹ để chạy mô hình ngôn ngữ lớn trên máy của bạn. Trên máy phục vụ GPU, mô hình chạy trên GPU thay vì CPU, làm cho phản hồi nhanh hơn nhiều.
Kéo Llama, Mistral, Gemma, Phi, Qwen và nhiều mẫu khác với một lệnh.
Cũng phù hợp với các mẫu 7B đến 13B và khoảng 30B khi được lượng tử hóa. Các mẫu 70B không phù hợp với một thẻ 24 GB ở mức lượng tử hóa thông thường.
Các yêu cầu và dữ liệu vẫn ở trên máy chủ của bạn, không có các cuộc gọi API của bên thứ ba.
Ollama tiết lộ một điểm cuối tương thích OpenAI mà nhiều khách hàng hiện có có thể sử dụng.
Ollama có thể sử dụng một GPU NVIDIA để tăng tốc công việc của nó. Các máy chủ GPU VPS.org chưa có sẵn để đặt hàng; liên hệ với chúng tôi để biết khi nào chúng có sẵn. Ollama chủ yếu là một tải công việc LLM- suy luận / trò chuyện. Bạn sẽ muốn đọc truy cập ngẫu nhiên nhanh từ đĩa sang bộ nhớ và đủ VRAM cho mô hình cộng với cửa sổ ngữ cảnh.
Các máy chủ GPU chưa có sẵn để đặt hàng. Ngày nay bạn có thể chạy Ollama trên một gói CPU thông thường, nơi nó hoạt động chậm hơn nhiều so với trên GPU: SSH vào và chạy curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM suy luận VRAM quy mô với các tham số mô hình: một mô hình 7B cần khoảng 5 đến 8 GB VRAM và một mô hình 13B khoảng 10 đến 14 GB, trong khi các mô hình lớp 70B cần nhiều GPU hoặc lượng tử hóa nặng.
Giá GPU sẽ được công bố khi máy chủ GPU có thể được đặt hàng. Liên hệ với chúng tôi nếu muốn biết khi điều đó xảy ra.
Mỗi máy chủ VPS.org đều có quyền truy cập root, vì vậy bạn có thể chạy các công cụ khác cùng với Ollama trong RAM và bộ nhớ của máy chủ.
Mỗi máy chủ VPS.org có quyền truy cập root SSH đầy đủ, vì vậy bạn có thể cài đặt driver, thư viện và Ollama bất cứ khi nào bạn cần.
Không. Không máy chủ nào có trình điều khiển CUDA runtime hay NVIDIA được cài đặt sẵn, và máy chủ GPU chưa có sẵn để đặt hàng. Bạn tự cài đặt các phiên bản Ollama cần.
Có. Máy chủ VPS.org là máy ảo bền vững, không phải là các trường hợp ngắn hạn: các mô hình Ollama, configs và dữ liệu vẫn ở trong bộ nhớ SSD của máy chủ cho đến khi bạn xóa chúng.
Giữ dữ liệu làm việc trên SSD của máy chủ để truy cập nhanh trong khi chạy Ollama, và sao chép các tác phẩm hoàn thành (nặng, thế hệ, nhúng) để lưu trữ bên ngoài VPS.org; snapshots và bản sao lưu vẫn ở trên cùng một cụm lưu trữ.
Bạn có thể nâng cấp bất kỳ máy chủ VPS.org nào lên một kế hoạch lớn hơn từ bảng điều khiển; kích thước thay đổi khởi động lại nó và cài đặt Ollama của bạn sẽ được chuyển sang. Các máy chủ GPU chưa có sẵn.
Có. Bảo vệ là một bổ sung trả phí (mỗi ngày +30% giá kế hoạch, giữ 7 ngày; hàng tuần +20%, giữ 28 ngày) và snapshot miễn phí, hữu ích trước khi chạy Ollama dài. Cả hai đều ở trên cùng một cụm lưu trữ như máy chủ.
Liên hệ hỗ trợ trong vòng 30 ngày sau khi mua lần đầu để yêu cầu trả lại tiền. Các máy chủ GPU chưa được bán, vì vậy không có đơn đặt hàng GPU liên quan.
Khả năng GPU bị giới hạn. Hãy nói cho chúng tôi biết về tải trọng của bạn và chúng tôi sẽ trả lời với khả năng và giá cả.