Qwen-Image軽量版(DFloat11)はVRAM 12GBで動くのか？RTX3060で挑戦した結果無理でした

ComfyUIがPF8で量子化したモデルの公開を行っています。詳細はこちらの記事から↓

www.taneyats.com

こんにちは、たねやつです。

驚異的な性能を持つとご紹介した画像生成AI「Qwen-Image」。その大きな課題は、要求されるハードウェアスペックの高さでした。

そんな中、Hugging Faceを眺めていると、有志の方が作成した軽量化モデル「DFloat11/Qwen-Image-DF11」が公開されているのを発見！「これなら私の環境でも動かせるかもしれない！」と、淡い期待を抱いて早速試してみることにしました。

この記事では、その挑戦の結果をありのままにレポートします。

前の記事
この記事でわかること
挑戦した環境
試した導入手順
- 1. 必要なライブラリのインストール
- 2. 実行スクリプトの準備
いざ、実行！しかし…
結論：RTX 3060 (12GB) ではまだ厳しい
最後に
次の記事
参考・引用

www.taneyats.com

この記事でわかること

Qwen-Imageの軽量化モデルの存在
RTX 3060（VRAM 12GB）で軽量化モデルを動かそうとした際の具体的な手順と結果

挑戦した環境

GPU: NVIDIA GeForce RTX 3060
VRAM: 12GB
試したモデル: DFloat11/Qwen-Image-DF11 (Hugging Face)

試した導入手順

Hugging Faceのページに記載されている手順に沿って、導入を進めました。ちなみにページによるとギリギリ16GBのVRAMがあれば生成可能かもしれないとのことです。

Model	Model Size	Peak GPU Memory (1328x1328 image generation)	Generation Time (A100 GPU)
Qwen-Image (BFloat16)	~41 GB	OOM	-
Qwen-Image (DFloat11)	28.42 GB	29.74 GB	100 seconds
Qwen-Image (DFloat11 + GPU Offloading)	28.42 GB	16.68 GB	260 seconds

MSI GeForce RTX 5070 Ti 16G INSPIRE 3X OC グラフィックスボード VD9064

Amazon

1. 必要なライブラリのインストール

まず、モデルの実行に必要となるライブラリをインストールします。CUDA 12.x系に対応したdfloat11と、Hugging Faceのdiffusersライブラリです。

# CUDAカーネルをインストール
pip install -U dfloat11[cu12]

# diffusersライブラリをインストール
pip install git+https://github.com/huggingface/diffusers

2. 実行スクリプトの準備

次に、Hugging Faceで提供されているPythonスクリプトを参考に、画像生成のためのコードを準備します。コードの主要な部分は以下のようになっています。

from diffusers import DiffusionPipeline, QwenImageTransformer2DModel
import torch
from transformers.modeling_utils import no_init_weights
from dfloat11 import DFloat11Model
import argparse

def parse_args():
    parser = argparse.ArgumentParser(description='Generate images using Qwen-Image model')
    parser.add_argument('--cpu_offload', action='store_true', help='Enable CPU offloading')
    parser.add_argument('--no_pin_memory', action='store_true', help='Disable memory pinning')
    parser.add_argument('--prompt', type=str, default='A coffee shop entrance features a chalkboard sign reading "Qwen Coffee 😊 $2 per cup," with a neon light beside it displaying "通义千问". Next to it hangs a poster showing a beautiful Chinese woman, and beneath the poster is written "π≈3.1415926-53589793-23846264-33832795-02384197".',
                        help='Text prompt for image generation')
    parser.add_argument('--negative_prompt', type=str, default=' ',
                        help='Negative prompt for image generation')
    parser.add_argument('--aspect_ratio', type=str, default='16:9', choices=['1:1', '16:9', '9:16', '4:3', '3:4'],
                        help='Aspect ratio of generated image')
    parser.add_argument('--num_inference_steps', type=int, default=50,
                        help='Number of denoising steps')
    parser.add_argument('--true_cfg_scale', type=float, default=4.0,
                        help='Classifier free guidance scale')
    parser.add_argument('--seed', type=int, default=42,
                        help='Random seed for generation')
    parser.add_argument('--output', type=str, default='example.png',
                        help='Output image path')
    parser.add_argument('--language', type=str, default='en', choices=['en', 'zh'],
                        help='Language for positive magic prompt')
    return parser.parse_args()

args = parse_args()

model_name = "Qwen/Qwen-Image"

with no_init_weights():
    transformer = QwenImageTransformer2DModel.from_config(
        QwenImageTransformer2DModel.load_config(
            model_name, subfolder="transformer",
        ),
    ).to(torch.bfloat16)

DFloat11Model.from_pretrained(
    "DFloat11/Qwen-Image-DF11",
    device="cpu",
    cpu_offload=args.cpu_offload,
    pin_memory=not args.no_pin_memory,
    bfloat16_model=transformer,
)

pipe = DiffusionPipeline.from_pretrained(
    model_name,
    transformer=transformer,
    torch_dtype=torch.bfloat16,
)
pipe.enable_model_cpu_offload()

positive_magic = {
    "en": "Ultra HD, 4K, cinematic composition.", # for english prompt,
    "zh": "超清，4K，电影级构图" # for chinese prompt,
}

# Generate with different aspect ratios
aspect_ratios = {
    "1:1": (1328, 1328),
    "16:9": (1664, 928),
    "9:16": (928, 1664),
    "4:3": (1472, 1140),
    "3:4": (1140, 1472),
}

width, height = aspect_ratios[args.aspect_ratio]

image = pipe(
    prompt=args.prompt + positive_magic[args.language],
    negative_prompt=args.negative_prompt,
    width=width,
    height=height,
    num_inference_steps=args.num_inference_steps,
    true_cfg_scale=args.true_cfg_scale,
    generator=torch.Generator(device="cuda").manual_seed(args.seed)
).images[0]

image.save(args.output)

max_memory = torch.cuda.max_memory_allocated()
print(f"Max memory: {max_memory / (1000 ** 3):.2f} GB")