要点
Ollama や llama.cpp などのローカル実行ツールをインストールし、GGUF などの量子化形式の小さなオープンウェイトモデルをダウンロードして、自分のコンピューターで動かしましょう。作業をこなせる最小のモデルを選びます。量子化版は必要なメモリがはるかに少なく、16 ビット形式で約 16 GB を要する 80億パラメータのモデルも、4 ビットなら約 4〜5 GB に収まります。
手順
- コンピューターのメモリ量と、使える GPU や Apple シリコンがあるかを確認します。
- Ollama や llama.cpp などのローカル実行ツールをインストールします。
- メモリに収まる量子化形式の、小さなオープンウェイトモデルをダウンロードします。
- 実際の作業で試し、力不足の場合に限って一段大きなサイズにします。
- コンセント型の電力計や CodeCarbon などのツールで、エネルギーを測ります。
- 使っていないときはモデルを閉じ、メモリや電力を占有しないようにします。
モデルをローカルで動かすとは、実行ツールと収まるモデルを選び、そのうえで測定することです。 データを自分のマシンに置いたままにでき、ホスト型のサービスでは決して見えない、AI のエネルギーコストを正確に確かめられます。
何が必要ですか?
- 実行ツール。 Ollama は、自分のコンピューターでオープンなモデルを使うための人気のある方法です。llama.cpp はより低レベルの C/C++ エンジンで、幅広いハードウェアで最小限の設定でモデルを動かすことを目指しています。
- モデルファイル。 GGUF は高速な読み込みと効率的な推論のために最適化されたバイナリ形式で、重み 1 つあたり 2 ビット未満から 8 ビットまでの量子化版があります。
- 十分なメモリ。 Hugging Face のドキュメントは目安を示しています。80億パラメータのモデルの重みには、16 ビット形式で約 16 GB、8 ビットで約 8 GB、4 ビットで約 4〜5 GB が必要です。ビット数を減らすと、精度がいくらか下がります。
クラウドよりグリーンですか?
自動的にそうなるわけではありません。 一度に 1 件ずつリクエストを処理するノートパソコンは、まとめて効率よく処理している稼働率の高いデータセンターのサーバーより、回答 1 件あたりの効率が低いことがあります。ローカルが有利なのは、モデルが小さいとき、作業が頻繁なとき、または大きなデータをネットワーク経由で送らずに済むときです。端末かクラウドかをご覧ください。
よくある間違い
- マシンに収まる最大のモデルをダウンロードすること。 小さく始めましょう。 より小さな AI モデルを選ぶをご覧ください。
- 電力を多く消費する GPU を積んだデスクトップで、モデルを一日中読み込んだままにすること。
- 量子化モデルを試す前に新しい GPU を買うこと。 モデルを量子化する方法をご覧ください。
エネルギーを確かめるには、 自分のコンピューターで AI が使うエネルギーを測るで説明しているとおり、コンセント型の電力計か CodeCarbon を使います。トレードオフについては、エッジかクラウドかをお読みください。
出典
- Ollama documentation, Ollama (2026)
- llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
- GGUF, Hugging Face Hub documentation (2026)
- Quantization overview, Hugging Face Transformers documentation (2026)
- CodeCarbon, CodeCarbon (2026)
関連
AI モデルを量子化するには?
AI モデルを 8ビットや 4ビットに量子化する方法です。使うツール、品質の確かめ方、量子化で省エネになる場合とならない場合を説明します。
AI は端末で動かすのとクラウドで動かすのと、どちらがいい?
端末上(エッジ)の AI とクラウドの AI を、エネルギー、プライバシー、品質の面で比べ、向いている作業と根拠の限界を説明します。
自分のパソコンや GPU で AI が使うエネルギーはどう測る?
ハードウェアのカウンター、GPU のテレメトリー、電力計で手元の AI のエネルギーを測り、処理全体でサンプリングし、待機時の電力を差し引きます。
エッジかクラウドか:AI はどこで動かすべきか
端末上・エッジの AI と中央のデータセンターを、エネルギー、ネットワーク、ハードウェア、プライバシー、レジリエンスの観点で比べ、段階的に判断する方法を紹介します。