GPU VPS 上で Ollama を実行

Ollama は NVIDIA GPU を使って作業を高速化できます。 VPS.org GPU サーバはまだ注文できません。 注文するときは、我々に連絡してください。 Ollama は主に LLM 推論/チャットワークロードです。ディスクからメモリへの高速なランダムアクセス読み込みと、モデルとコンテキストウィンドウに十分な VRAM が必要です。

グラフィックサーバはまだ注文できません。現在、Ollamaは通常の CPU プランで実行できます。そこでは、GPU よりも遅く動作します。SSH で入力し、curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3を実行します。

ＬＬＭ推論ＶＲＡＭはモデルパラメータでスケールする：７Ｂモデルは約５〜８ＧＢのＶＲＡＭ，１３Ｂモデルは約１０〜１４ＧＢ，７０Ｂクラスモデルは数個のＧＰＵまたは重量子化を必要とする。

GPU サーバが注文可能になったときに GPU 価格が公開されます。その時に知りたい場合は、我々に連絡してください。

ああ、すべてのVPS.orgサーバはフルルートアクセスを持ってる だから、他のツールをOllamaと共に サーバのRAMとストレージ内で動かすことができる

すべてのVPS.orgサーバはフルルートSSHアクセスを持ち、ドライバ、ライブラリ、Ollamaを必要に応じてインストールできます。

No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions Ollama needs yourself.

はい。VPS.orgサーバは永続的な仮想マシンであり、短期間のインスタンスではありません。Ollamaモデル、コンフィギュレーション、データは、削除されるまでサーバのSSDストレージに残ります。

実行中のデータはサーバのSSDに保持し，Ollamaの実行中の高速アクセスを可能にし，完成したアーティファクト（重み，生成，埋め込み）をVPS.org以外のストレージにコピーする。

コンピュータの制御パネルからどの VPS.org サーバでもより大きなプランにアップグレードできます。サイズ変更で再起動され、Ollama のインストールが引き継がれます。GPU サーバはまだ利用できません。

バックアップは有料アドオン (プラン価格の日々+30%、7日間保持、週間+20%、28日間保持) であり、スナップショットは無料で、長期Ollamaの実行前に役立ちます。両方ともサーバと同じストレージクラスタに残ります。

初回購入後30日以内にサポートに連絡して返金を要求してください。GPUサーバはまだ販売されていませんので、GPUの注文は含まれません。