gpt-oss をローカルで動かす (以前のChatGPT級、OllamaだけでWeb検索も)

本サイトで紹介している商品・サービス等の外部リンクには、アフィリエイト広告が含まれる場合があります。

概要

gpt-oss は、ChatGPT を開発する OpenAI から公開されたオープンソースな言語モデルです。

ローカル環境で、Ollama に実装された UI 経由で gpt-oss-12b を利用して Web 検索もしてみました。

GPT‑OSS とは?

gpt-oss は、ChatGPT を開発する OpenAI から公開されたオープンソースな言語モデルです。

公式サイト情報
https://openai.com/ja-JP/index/introducing-gpt-oss/

Hugging Face
https://huggingface.co/collections/openai/gpt-oss
https://huggingface.co/openai/gpt-oss-120b
https://huggingface.co/openai/gpt-oss-20b

種類

本稿更新時点で、2つのモデルが公開されています。

  • gpt-oss-120b — 生産環境向け、一般的な用途や高度な推論が求められるケースに適しており、1つの80GB GPU(例:NVIDIA H100 や AMD MI300X)に収まる規模です(117B パラメータ、アクティブパラメータは5.1B)。
    CHatGPT-4mini 相当とされています。
  • gpt-oss-20b — より低いレイテンシーが求められる用途や、ローカルまたは特定用途に適しています(21B パラメータ、アクティブパラメータは3.6B)。
    ChatGPT-3mini とされています。

ライセンス

Apache 2.0 ライセンスで、無料で商用利用可能です。
https://huggingface.co/datasets/choosealicense/licenses/blob/main/markdown/apache-2.0.md

Ollama で gpt-oss20b を利用してみる

Ollama

以前 Ollama を試したときは、まだ GUI は実装されていませんでした。

Ollamaサイト
https://ollama.com/

Ollama v0.10.0 から GUI が実装され手軽にチャットが試せるようになりました。
OllamaSetup.exe をダウンロードして実行するだけで GUI もインストールされます。
すでに Ollama をインストール済みであればアップデートするだけで GUI は利用可能となります。

ローカルの PC 環境

NVIDIA GeForce RTX 5060Ti 16GBを入れて自作した PC で行います。
gpt-oss-20b であれば問題なく動きました。

Ollama 経由で gpt-oss-20b を使う

ollama を起動して、チャットボックス右下のモデル選択のドロップダウンメニューを開きます。
Find Model… のところに、gpt-oss と入力して検索します。

モデルの選択 - 検索ボックスで gpt-oss を検索し、gpt-oss:20b を選択

表示された gpt-oss:20b を選択します。

gpt-oss:20b を選択

プロンプトを最初に入力した際にモデルがダウンロードされます。

最初にプロンプトを入力した際にモデルがダウンロードされる

推論後、結果が表示されます。

gpt-oss:20b による結果

Thinking Level も選択可能です。
https://docs.ollama.com/capabilities/thinking

Ollama で Web 検索を試してみる

Ollama には Web 検索機能も実装されています。
https://ollama.com/blog/web-search

Ollama の GUI の Enable Web Search ボタン をクリックするだけです。

Ollama - Web検索を有効化するボタン


ただし、Web 検索機能を利用するには、Ollama のアカウントが必要となります。

アカウントは、Ollama のサイトから サインアップすることで作成できます。
https://ollama.com/
 → 右上 [Sign In] – 開いた画面の下のほうの [サインアップ]

Ollama のアカウントを持っていない場合はサインアップから作成

アカウント作成後は、Ollama の Settings – Ollama account – Sign In からサインインします。
(Web 検索ボタンをクリックした後に、表示される Sign In ボタンからでもサインインできます。)

ブラウザが開くので、サインインを行い ollama app.exe を開くをクリックすれば OKです。

この状態で Web 検索を有効にした状態で プロンプトと入力して実行すると結果が表示されました。

現時点では、Ollama のアカウントを介した Web 検索は Ollama Cloud の利用に準ずる形で 1時間当たり および 1週間あたりの利用上限儲けられています。
https://ollama.com/cloud

どれくらい利用したかについては、ブラウザでサインインして Settings – Usage から確認できます。
(無料分のみだとすぐに上限に達しますね。)

Ollama の Web サイト - Settings - Usage 画面

上限に達すると、検索は試みるようですが、外部サイト・API に接続できずに結果を出せずという形になるようです。

上限に達した際あとは、エラーとなった

参考となれば幸いです。

▼ 関連