Ollamaでgpt-oss 20Bを試す。RTX3060(12GB)で一応動く

こんにちは、たねやつです。

OpenAIによってgpt-oss 120B と20Bが公開されました。

この期待の新作モデルが、ローカルAI環境実行ツールの定番であるOllamaで手軽に試せるようになったとのこと。そこで早速、「多くの人が持っているであろうグラボ」の代表格、RTX 3060 (VRAM 12GB)で、この20Bモデルが果たして動くのかを試してみました！

ちなみにローカルではなくOpenRouterというサービスを利用してでも無料でgpt-ossを試すことができます。

Ollamaがインストールされていれば、手順は非常にシンプルです。

新しいモデルを試す前には、まずOllama本体を最新バージョンにアップデートしておくのが定石です。お使いの環境に合わせてアップデートを実行してください。

次に、ターミナル（コマンドプロンプト）から以下のコマンドを実行し、gpt-ossの20Bモデルをダウンロードします。

ollama pull gpt-oss:20b

20B（200億パラメータ）というサイズは、VRAM 12GBの環境ではかなり挑戦的な大きさです。

ダウンロードが完了したら、いよいよ実行です。ターミナルから直接 ollama run gpt-oss:20b と入力して対話を始めるか、私のようにOpen-WebUIのようなWebインターフェースからモデルを選択して実行します。

結論から言うと、RTX 3060 (VRAM 12GB) の環境でも gpt-oss:20b は動作しました！

VRAM 12GBでは12B（120億パラメータ）クラスのモデルがギリギリのラインかな、と感じていたので、20Bモデルが起動したこと自体が驚きです。

ただし、その動作は「快適」とは言えませんでした。実際にプロンプトを入力してみると、推論速度は約 5 tokens/s といったところ。

これは、文字が1秒間に5トークン（日本語だとおよそ2〜3文字）ずつ生成されるペースです。短い応答ならまだしも、少し長い文章を生成させようとすると、すべての文章が出力されるまでにはかなりの待ち時間が発生します。

チャットのようなリアルタイムでの対話的な使い方をするには、正直少し厳しい速度かもしれません。

というわけで、今回は「gpt-oss:20bはRTX 3060 (12GB)でも動作はするが、実用的な速度とは言い難い」という結果になりました。

しかし、一昔前では考えられなかった20Bクラスのモデルが、コンシューマー向けのGPUで（たとえ低速でも）動作するようになったこと自体が、技術の進歩を感じさせます。

今後、さらに量子化が進んだ軽量モデルが登場すれば、より多くの人がこのgpt-ossの性能を体験できるようになるはずです。今後の発展に期待しましょう！

ローカルで動かしているとらちが明かないのでOpenrouterを使用して動かし、gemini-2.5-flashと比較してみます。おそらく10倍程度のパラメーター数の違いがあるはずなのでちょっと色眼鏡ありの見解ですが👀

たねやつの木