Qwen3-Omni登場！GPT-4oに匹敵する性能を持つマルチモーダルモデルを徹底解説

こんにちは、たねやつです。

Alibaba CloudのQwenチームが、オープンソースAIの世界に新たな金字塔を打ち立てました。新しいオムニモーダルモデルQwen3-Omniがリリースされ、その性能がGPT-4oやGemini 2.5 Proといった最先端のプロプライエタリモデルに匹敵すると話題になっています。

Qwen3-Omniは、テキスト、画像、音声、動画といった多様な形式の情報を統合的に処理し、リアルタイムで自然な音声対話まで可能にする、まさに「オムニ（全方位）」なモデルです。

この記事では、Qwen3-Omniの驚異的な能力、それを支える革新的な技術、そして具体的な使い方まで、公式ブログ、Hugging Face、GitHubの情報を元に徹底的に解説していきます。

Qwen3-Omniとは？- 新世代のオムニモーダルAI
GPT-4oに匹敵する驚異的なパフォーマンス
Qwen3-Omniを支える革新的技術
- Thinker–Talkerアーキテクチャ
- A3B量子化：高性能をより身近に
主な機能と特徴
使い方とセットアップ
- Hugging Face Transformers
- vLLM, Docker, API
注意点：要求されるGPUスペック
ライセンス
最後に
参考・引用

Qwen3-Omniとは？- 新世代のオムニモーダルAI

Qwen3-Omniは、Qwenチームによって開発された、300億（30B）パラメータを持つ、エンドツーエンドの多言語・オムニモーダル基盤モデルです。

最大の特徴は、その「オムニモーダル」な能力にあります。

入力: テキスト、画像、音声、動画
出力: テキスト、自然な音声（リアルタイムストリーミング対応）

単に複数のデータ形式を扱えるだけでなく、それらを統合的に理解し、人間と対話するように、テキストと自然な音声でリアルタイムに応答を生成することができます。

GPT-4oに匹敵する驚異的なパフォーマンス

Qwen3-Omniは、その性能においても非常に高い評価を得ています。公式発表によると、36の音声・動画関連ベンチマークのうち22でSOTA（最高性能）を達成。特に自動音声認識（ASR）や音声理解、音声会話の性能はGemini 2.5 Proに匹敵するとされています。

テキストベースのベンチマークにおいても、GPT-4oといったトップクラスのモデルと肩を並べる結果を示しており、オープンソースモデルの新たな可能性を切り開いています。

Qwen3-Omniを支える革新的技術

この高性能を実現しているのが、独自のモデルアーキテクチャと量子化技術です。

Thinker–Talkerアーキテクチャ

Qwen3-Omniは、MoE（専門家混合）ベースの「Thinker–Talker」というユニークな設計を採用しています。

Thinker: 思考や推論（Chain-of-Thought）を担当するコンポーネント。音声、動画、テキストの入力を受け取り、思考を重ねてテキスト出力を生成します。
Talker: リアルタイムの対話を担当するコンポーネント。思考を必要としない場面で、低遅延のストリーミング応答（テキストおよび音声）を実現します。

これにより、高度な推論能力と、スムーズで自然な対話体験を両立させています。

A3B量子化：高性能をより身近に

A3B (Adaptive 3-Bit)は、Qwenチームが開発した新しい量子化技術です。モデルの性能劣化を最小限に抑えながら、モデルのサイズとメモリ使用量を大幅に削減することができます。

この技術により、30Bという巨大なモデルでありながら、より少ないGPUリソースでの動作が可能になり、コンシューマ向けの環境でも活用できる道が拓かれます。（ただし、要求スペックは依然として高い点に注意が必要です。）

主な機能と特徴

多様な入出力（テキスト、画像、音声、動画）

複数の画像や動画、音声を組み合わせた複雑なプロンプトを理解し、的確な応答を生成する能力を持っています。

リアルタイムの音声対話

低遅延のストリーミング技術により、ユーザーの発言を遮ることなく、自然なタイミングで応答を返す「ターンテイキング」が可能です。出力される音声も、複数の話者（Ethan, Chelsie, Aidenなど）から選択できます。

豊富な多言語対応

テキスト言語: 119言語
音声入力言語: 19言語（日本語、英語、中国語、韓国語、ドイツ語など）
音声出力言語: 10言語（日本語、英語、中国語、フランス語、ドイツ語、韓国語など）

グローバルな利用シーンに対応できる高い言語能力を備えています。

使い方とセットアップ

Qwen3-Omniは、コミュニティが利用しやすいように様々な方法で公開されています。

Hugging Face Transformers

最も一般的な利用方法です。transformersライブラリと、いくつかの追加パッケージをインストールすることで利用できます。

# 必要なライブラリをインストール
# pip install transformers>=4.43.0 qwen-omni-utils>=0.1.2 flash-attn --no-deps

import torch
from transformers import AutoModelForCausalLM, AutoProcessor

# モデルとプロセッサをロード
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-Omni-30B-A3B-Instruct",
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    device_map="auto",
    trust_remote_code=True,
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct", trust_remote_code=True)

# 画像、音声、テキストを組み合わせたプロンプト
query = "Please describe this image and audio."
image_path = "assets/images/scenery.jpg"
audio_path = "assets/audios/speech.wav"

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "value": image_path},
            {"type": "audio", "value": audio_path},
            {"type": "text", "value": query},
        ]
    }
]

# テキストを生成
text = model.chat(processor, messages=messages, stream=False)
print(text)

# 音声を生成
# audio = model.chat(processor, messages=messages, audio_stream=True)
# for trunk in audio:
#     # 音声データを処理
#     pass

vLLM, Docker, API

vLLM: MoEアーキテクチャの性能を最大限に引き出すために、大規模な推論や低遅延が求められる場合にはvLLMの利用が推奨されています。
Docker: qwenllm/qwen3-omniという公式のDockerイメージが提供されており、環境構築を簡素化できます。
DashScope API: Alibaba Cloudが提供するAPIサービス。より高速で効率的な体験が可能です。

注意点：要求されるGPUスペック

A3B量子化によって効率化されているとはいえ、Qwen3-Omniは非常に要求スペックの高いモデルです。

公式のドキュメントによると、BF16（半精度浮動小数点）で動作させる場合のGPUメモリ要件は以下のようになっています。

15秒の動画入力: 78.85 GB
120秒の動画入力: 144.81 GB

この数値からもわかるように、個人で試すにはハイエンドなGPUが複数枚必要になるなど、かなりのハードルがあります。現状では、一般的なコンシューマ向けGPU単体で動かすことは難しく、ローカル環境で気軽に試せるような状態ではないことは認識しておく必要があります。試す場合は、クラウドの高性能なGPUインスタンスを利用するか、API経由でのアクセスが現実的な選択肢となります。