NVIDIA Tesla P40 (24GB VRAM, Pascal architecture) 上で Meta の Llama モデルをセルフホストします。8B モデルに適合し、量子化したときはより大きなモデルにも適合します。GPU サーバはまだ注文できません。注文したら連絡してください。
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# 例えば、インストールコマンド
Llama は Meta のオープンソースの大規模言語モデルのファミリーです。GPUサーバ上で Llama を実行すると、プロンプトとデータがプライベートになります。
8Bモデルは24GBのVRAMで動作します。70Bモデルは、一般的な量子化レベルでは、1つの24GBカードには入りません。
プロンプトとデータはサーバに残り、サードパーティのAPIコールはありません。
GGUF を lama.cpp や Ollama または PyTorch の重み付けに使用します。
Ｏｌｌａｍａまたはｌａｍａ．ｃｐｐサーバを用いて，ＯｐｅｎＡＩ互換エンドポイントにモデルを提供する。
LLaMA は NVIDIA GPU を使って作業を高速化できます。 VPS.org GPU サーバはまだ注文できません。注文するときは、我々に連絡してください。LLaMA は一般的な GPU 加速ワークロードです。ソフトウェアが CUDA サポートを持ち、ドライバ/ランタイムバージョンが LLaMA のワークロード要求に合致していることを確認してください。
グラフィックサーバはまだ注文できません。現在、LLaMAは通常の CPU プランで実行できます。そこでは、GPU よりも遅く動作します。SSH で入力し、curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3を実行します。
VRAM needs for LLaMA depend on the model and batch size; check the project documentation for current figures.
GPU サーバが注文可能になったときに GPU 価格が公開されます。その時に知りたい場合は、我々に連絡してください。
ああ、すべてのVPS.orgサーバはフルルートアクセスを持ってる だから、他のツールをLLaMAと共に サーバのRAMとストレージ内で動かすことができる
すべてのVPS.orgサーバはフルルートSSHアクセスを持ち、ドライバ、ライブラリ、LLaMAを必要に応じてインストールできます。
No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions LLaMA needs yourself.
はい。VPS.orgサーバは永続的な仮想マシンであり、短期間のインスタンスではありません。LLaMAモデル、コンフィギュレーション、データは、削除されるまでサーバのSSDストレージに残ります。
実行中のデータはサーバのSSDに保持し，LLaMAの実行中の高速アクセスを可能にし，完成したアーティファクト（重み，生成，埋め込み）をVPS.org以外のストレージにコピーする。
コンピュータの制御パネルからどの VPS.org サーバでもより大きなプランにアップグレードできます。サイズ変更で再起動され、LLaMA のインストールが引き継がれます。GPU サーバはまだ利用できません。
バックアップは有料アドオン (プラン価格の日々+30%、7日間保持、週間+20%、28日間保持) であり、スナップショットは無料で、長期LLaMAの実行前に役立ちます。両方ともサーバと同じストレージクラスタに残ります。
初回購入後30日以内にサポートに連絡して返金を要求してください。GPUサーバはまだ販売されていませんので、GPUの注文は含まれません。