DEV Community: Garyvov

Mistral Small 4：开源 AI 的三合一革命

Garyvov — Mon, 16 Mar 2026 23:39:30 +0000

Mistral Small 4：开源 AI 的三合一革命

2026 年 3 月 16 日，Mistral AI 发布 Small 4，这是首个统一指令、推理和多模态能力的开源模型，以 Apache 2.0 协议重新定义开源 AI 标准。

一句话讲清楚

Mistral Small 4 是首个真正统一的开源模型：

以前：聊天用 Small，推理用 Magistral，多模态用 Pixtral，代码用 Devstral
现在：一个模型搞定所有

而且完全开源，Apache 2.0 协议，商用、修改、分发、私有部署全放开。

核心亮点

1. 可配置的推理强度

通过 reasoning_effort 参数，同一个模型有两种工作模式：

# 日常聊天 - 快速响应
reasoning_effort="none"

# 复杂问题 - 深度思考
reasoning_effort="high"

这相当于两个模型合成一个，省了切换的成本。

2. 架构参数

特性	数值
总参数	119B
活跃参数	6B (每 token)
专家数量	128
每 token 活跃专家	4
上下文窗口	256k tokens
多模态	原生支持图文输入

采用 Mixture of Experts (MoE) 架构，效率与性能的平衡点找得很准。

3. 性能提升

相比 Mistral Small 3：

延迟降低 40% (延迟优化配置)
吞吐量提升 3 倍 (吞吐量优化配置)

更重要的是：在 AA LCR、LiveCodeBench 等基准测试中：

模型	AA LCR 分数	输出长度
Mistral Small 4	0.72	1.6K
Qwen3	0.72	5.8K
Qwen2.5	0.71	6.1K

相同性能，输出减少 75% = 推理成本大幅降低

这个差距在实际应用中很关键：更短的响应意味着更低的延迟和成本，用户体验更好。

部署成本

最小配置

4x NVIDIA HGX H100
或 2x NVIDIA HGX H200
或 1x NVIDIA DGX B200

应用场景

开发者

代码自动化
代码库探索
代理工作流

企业

智能助手
文档理解
多模态分析

研究人员

数学问题
科研分析
复杂推理

如何获取

4. NVIDIA NIM

生产环境可直接部署优化的容器化推理服务。

为什么重要？

首次统一能力：不再需要多个模型切换，简化 AI 集成
完全开源：Apache 2.0，真正的开源自由
企业级效率：部署成本可控，性能优秀
社区合作：NVIDIA Nemotron Coalition 创始成员

技术细节

推理效率对比

Mistral Small 4 与 GPT-OSS 120B 对比：

AA LCR：Mistral 0.72 (1.6K) vs GPT-OSS 0.71 (5.5K+)
LiveCodeBench：Mistral 超越 GPT-OSS，输出减少 20%

关键点：相同性能下，Mistral 的输出长度显著更短。这意味着：

更低的推理延迟
更低的计算成本
更好的用户体验

未来展望

Mistral AI 表示："AI 的未来是开源的"

通过统一指令、推理和多模态能力，Mistral Small 4 简化了 AI 集成，让单一模型可以应对更广泛的任务。

对于企业来说，这意味着：

更低的集成成本
更简化的技术栈
更好的成本控制

对于开发者来说，这意味着：

一个模型适配所有场景
按需调整推理强度
更灵活的部署方案

总结

Mistral Small 4 的发布是开源 AI 领域的一个重要里程碑：

✅ 统一能力：一次集成，多种场景
✅ 开源自由：Apache 2.0，完全可控
✅ 性能优势：效率更高，成本更低
✅ 企业友好：NVIDIA 优化，部署方便

推荐关注：如果你在使用开源模型，或者考虑在企业中部署 AI，Mistral Small 4 值得重点关注。

本文基于 Mistral AI 官方公告整理，数据截至 2026 年 3 月 16 日

原文链接：https://mistral.ai/news/mistral-small-4

Nemotron-3-Super-120B-A12B：英伟达 MoE 架构的暴力美学

Garyvov — Mon, 16 Mar 2026 08:38:33 +0000

Nemotron-3-Super-120B-A12B：英伟达 MoE 架构的暴力美学

摘要: NVIDIA 最新开源的 Nemotron-3-Super-120B-A12B 模型采用创新的 A12B 稀疏激活设计，在保持高性能的同时将推理成本降低至传统密集模型的十分之一，为 AI 研究者提供了新的架构范式。

引言

在大模型军备竞赛中，英伟达 (NVIDIA) 于 2026 年 3 月推出了 Nemotron-3-Super-120B-A12B 模型，这款模型以其独特的"120B 总参数、12B 活跃参数"设计，在学术界和工业界引发了广泛关注。

本文将深入分析 Nemotron-3-Super-120B-A12B 的架构创新，特别是其 A12B 稀疏激活机制的设计原理、性能表现和实际价值。

架构设计：A12B 的核心突破

MoE 架构的演进

MoE (Mixture of Experts，混合专家) 架构并非新概念。从 Switch Transformer 到 GPT-4 的传闻架构，研究者一直在探索如何高效利用超大参数模型。

Nemotron-3-Super-120B-A12B 的创新在于：

精确的 10% 激活比例：120B 总参数中，每次推理仅激活 12B 参数
动态路由机制：根据输入内容智能分配计算资源
均衡的负载分布：避免某些专家过载而其他专家闲置

A12B 的设计哲学

A12B 命名本身传达了核心设计理念：

120B：总参数量，提供足够的表达能力
12B：活跃参数量，决定实际计算成本
10% 激活率：在性能和效率之间取得最优平衡

这种设计使得模型在训练时可以使用全部参数学习丰富的知识，而在推理时只需承担 12B 参数的计算成本。

技术实现细节

路由机制

路由网络是 MoE 模型的核心。Nemotron-3-Super-120B-A12B 采用：

Top-k 路由策略：每个 token 选择 k 个最合适的专家
负载均衡损失：防止某些专家被过度使用
门控网络优化：提高路由决策的准确性

专家设计

每个专家网络的配置：

专家数量：约 120 个专家
单个专家参数：约 1B
专家类型：FFN (前馈神经网络) 层

这种设计使得模型可以并行处理不同 token，充分利用 GPU 的计算能力。

通信优化

MoE 模型面临的最大挑战是专家间通信。Nemotron-3-Super 采用：

P2P 通信优化：减少全局 All-to-All 开销
专家本地化：将相关专家分配到同一 GPU
流水线并行：与其他并行策略协同工作

性能评估

推理效率

相比同等规模的密集模型：

吞吐率提升：5 倍
延迟降低：显著减少首 token 生成时间
成本优化：推理成本降低至密集模型的 10%

准确性表现

在保持高效的同时，Nemotron-3-Super-120B-A12B 并未牺牲性能：

基准测试：在 MMLU、GSM8K 等基准上表现优异
推理能力：数学推理和逻辑推理能力强
多语言支持：支持中英文等多种语言

训练效率

训练速度：相比全量 120B 密集模型快 8 倍
显存效率：降低 70% 的显存需求
可扩展性：易于扩展到更大规模

开源意义

对研究社区的价值

Nemotron-3-Super-120B-A12B 的开源为 AI 研究提供了：

可复现的 MoE 实现：完整的模型权重和训练代码
基准对比：与 Llama 3、Qwen 等模型的公平对比
创新基础：基于此模型的进一步研究

对工业界的影响

部署成本：大幅降低企业使用大模型的门槛
实时推理：使高延迟敏感场景成为可能
定制化：更容易基于开源模型进行微调

生态建设

NVIDIA 通过开源构建开发者生态：

社区驱动：鼓励研究人员贡献改进
工具链支持：提供完整的推理和优化工具
教育普及：降低学习 MoE 架构的门槛

技术对比

与 Llama 3 70B 对比

指标	Nemotron-3-Super-120B-A12B	Llama 3 70B
总参数	120B	70B
活跃参数	12B	70B (全量)
推理成本	10% 密集模型	100% 密集模型
吞吐率	5x 密集模型	1x
开源许可	可商用	限制性许可

与 Qwen2.5 14B 对比

指标	Nemotron-3-Super-120B-A12B	Qwen2.5 14B
推理成本	12B 活跃	14B 全量
知识容量	120B 总参数	14B 全量
MoE 架构	是	否 (密集)
多语言能力	优	优

应用前景

企业级应用

客服机器人：低成本高响应速度的问答系统
代码辅助：大上下文代码生成和分析
数据分析：复杂数据理解和报告生成

研究工具

基准测试：公平对比不同架构的性能
架构研究：探索更多 MoE 变体
知识蒸馏：从大模型到小模型的迁移学习

教育领域

教学演示：直观展示 MoE 架构原理
实验平台：支持学生进行模型实验
技术文档：完善的文档降低学习门槛

结论

Nemotron-3-Super-120B-A12B 代表了当前 MoE 架构的最佳实践。其 A12B 设计在性能、效率和成本之间取得了出色平衡，为 AI 研究者提供了新的选择。

随着开源社区的积极参与和持续优化，我们期待看到更多基于此架构的创新应用。对于希望部署高性能大模型但受限于成本的企业和研究机构，Nemotron-3-Super-120B-A12B 无疑是一个值得关注的选择。

未来，随着推理硬件的持续优化和 MoE 技术的演进，我们有理由相信，稀疏激活架构将成为大模型的主流范式之一。

参考资料:

NVIDIA 技术博客
微信公众号：AI 算力风暴、大数据学习之美、时代 Java
技术社区讨论

关键词: NVIDIA, Nemotron-3-Super, MoE, A12B, 稀疏激活，开源模型

本文字数：约 1800 字

Fish Audio S2-Pro：用自然语言控制语音情感的 TTS 模型

Garyvov — Wed, 11 Mar 2026 12:37:07 +0000

2026年3月9日，Fish Audio 开源了 S2-Pro，一个在多个基准测试中超越闭源系统的 TTS 模型。模型权重、训练代码和推理引擎全部开源。

自然语言控制

S2-Pro 支持自由形式的内联控制。你可以在文本中直接用自然语言描述想要的效果：

[whisper in small voice] - 小声耳语
[professional broadcast tone] - 专业播音腔调
[pitch up] - 提高音调
[laughing] - 笑声

系统支持 15,000+ 种标签，覆盖情感、语气、音量、节奏。不需要学习固定的标签集，想到什么就写什么。

训练数据

1000 万小时音频，80+ 种语言。包括日语、英语、中文、韩语、西班牙语、葡萄牙语、阿拉伯语、俄语、法语、德语，以及瑞典语、意大利语、土耳其语等 60+ 种其他语言。

不需要音素标注或语言特定的预处理。

基准测试

测试	S2-Pro	对比
Seed-TTS Eval 中文 WER	0.54%	最低
Seed-TTS Eval 英文 WER	0.99%	最低
Audio Turing Test	0.515	vs Seed-TTS 0.417
EmergentTTS-Eval	81.88%	最高

在 Seed-TTS 评估中，S2-Pro 的词错误率低于 Qwen3-TTS (0.77/1.24)、MiniMax Speech-02 (0.99/1.90) 和 Seed-TTS (1.12/2.25)。

Dual-AR 架构

模型分两层生成音频：

Slow AR (4B 参数)：沿时间轴预测主要语义码本
Fast AR (400M 参数)：在每个时间步生成剩余 9 个残差码本

这种设计让推理速度快，同时保持音频质量。

强化学习对齐

S2-Pro 用 GRPO 做后训练。关键点：用于过滤训练数据的模型，直接作为强化学习的奖励模型。这消除了预训练和后训练之间的分布差异。

奖励信号包括：

语义准确性
指令遵循
声学偏好
音色相似度

生产推理

Dual-AR 架构和标准 LLM 结构相同，可以直接用 SGLang 的优化：

连续批处理
分页 KV 缓存
CUDA 图重放
RadixAttention 前缀缓存

单张 H200 GPU 性能：

RTF: 0.195
首音频延迟: ~100ms
吞吐量: 3,000+ tokens/s

声音克隆场景下，SGLang 自动缓存参考音频的 KV 状态。同一声音重复使用时，前缀缓存命中率平均 86.4%（峰值 >90%）。

实用功能

声音克隆：用短参考样本（通常 10-30 秒）克隆声音。捕捉音色、说话风格、情感倾向。

多说话人：上传包含多个说话人的参考音频，模型通过 <|speaker:i|> token 处理。单次生成可以包含多个说话人。

多轮对话：模型利用上文信息改善后续生成的表现力。

开源内容

模型权重：HuggingFace
训练和微调代码
SGLang 推理引擎
GitHub：fish-speech
技术报告 PDF

许可证：Fish Audio Research License

研究和非商业使用免费
商业使用需单独许可（business@fish.audio）

快速开始

安装

git clone https://github.com/fishaudio/fish-speech.git
cd fish-speech
pip install uv
uv sync

命令行

python -m fish_speech.text_to_speech \
  --text "你好，我是 Fish Audio S2-Pro" \
  --reference_audio reference.wav \
  --output output.wav

WebUI

python -m fish_speech.webui

Docker

docker pull fishaudio/fish-speech:latest
docker run -it --gpus all fishaudio/fish-speech:latest

SGLang 服务器

生产环境推荐用 SGLang：
https://github.com/sgl-project/sglang-omni

链接：

官网：https://fish.audio/
GitHub：https://github.com/fishaudio/fish-speech
HuggingFace：https://huggingface.co/fishaudio/s2-pro
博客：https://fish.audio/blog/fish-audio-open-sources-s2/
技术报告：PDF

Fish Audio S2-Pro: A TTS Model with Emotion in Speech Controlled with Natural Language

Garyvov — Wed, 11 Mar 2026 12:35:36 +0000

On March 9, 2026, Fish Audio open-sourced S2-Pro, a TTS model that outperforms closed-source systems across multiple benchmarks. Model weights, training code, and inference engine are all open source.

Natural Language Control

S2-Pro supports free-form inline control. You can describe the desired effect directly in natural language within the text:

[whisper in small voice] - Soft whisper
[professional broadcast tone] - Professional broadcast tone
[pitch up] - Raise pitch
[laughing] - Laughter

The system supports 15,000+ tags covering emotion, tone, volume, and rhythm. No need to learn a fixed tag set—just write what you think.

Training Data

10 million hours of audio across 80+ languages, including Japanese, English, Chinese, Korean, Spanish, Portuguese, Arabic, Russian, French, German, Swedish, Italian, Turkish, and 60+ other languages.

No phoneme annotation or language-specific preprocessing required.

Benchmarks

Test	S2-Pro	Comparison
Seed-TTS Eval Chinese WER	0.54%	Lowest
Seed-TTS Eval English WER	0.99%	Lowest
Audio Turing Test	0.515	vs Seed-TTS 0.417
EmergentTTS-Eval	81.88%	Highest

In Seed-TTS evaluation, S2-Pro's word error rate is lower than Qwen3-TTS (0.77/1.24), MiniMax Speech-02 (0.99/1.90), and Seed-TTS (1.12/2.25).

Dual-AR Architecture

The model generates audio in two layers:

Slow AR (4B parameters): Predicts the primary semantic codebook along the time axis
Fast AR (400M parameters): Generates the remaining 9 residual codebooks at each time step

This design enables fast inference while maintaining audio quality.

Reinforcement Learning Alignment

S2-Pro uses GRPO for post-training. Key point: the models used to filter training data directly serve as reward models during reinforcement learning. This eliminates distribution mismatch between pre-training and post-training.

Reward signals include:

Semantic accuracy
Instruction following
Acoustic preference
Timbre similarity

Production Inference

Dual-AR architecture is structurally identical to standard LLMs, allowing direct use of SGLang optimizations:

Continuous batching
Paged KV cache
CUDA graph replay
RadixAttention prefix caching

Single H200 GPU Performance:

RTF: 0.195
Time-to-first-audio: ~100ms
Throughput: 3,000+ tokens/s

For voice cloning scenarios, SGLang automatically caches reference audio KV states. When the same voice is reused, prefix cache hit rate averages 86.4% (peak >90%).

Practical Features

Voice Cloning: Clone voices using short reference samples (typically 10-30 seconds). Captures timbre, speaking style, and emotional tendencies.

Multi-Speaker: Upload reference audio containing multiple speakers, and the model processes each speaker's features via <|speaker:i|> tokens. Single generation can include multiple speakers.

Multi-Turn Dialogue: The model uses previous context to improve expressiveness in subsequent generations.

Open Source Content

Model weights: HuggingFace
Training and fine-tuning code
SGLang inference engine
GitHub: fish-speech
Technical report PDF

License: Fish Audio Research License

Free for research and non-commercial use
Commercial use requires separate license (business@fish.audio)

Quick Start

Installation

git clone https://github.com/fishaudio/fish-speech.git
cd fish-speech
pip install uv
uv sync

Command Line

python -m fish_speech.text_to_speech \
  --text "Hello, I am Fish Audio S2-Pro" \
  --reference_audio reference.wav \
  --output output.wav

WebUI

python -m fish_speech.webui

Docker

docker pull fishaudio/fish-speech:latest
docker run -it --gpus all fishaudio/fish-speech:latest

SGLang Server

For production environments, use SGLang:
https://github.com/sgl-project/sglang-omni

Links:

Website: https://fish.audio/
GitHub: https://github.com/fishaudio/fish-speech
HuggingFace: https://huggingface.co/fishaudio/s2-pro
Blog: https://fish.audio/blog/fish-audio-open-sources-s2/
Technical Report: PDF

Use OpenClaw to Tweet from VPS Without Getting Banned: Headed Browser + Xvfb Solution

Garyvov — Tue, 10 Mar 2026 14:21:45 +0000

Use OpenClaw to Tweet from VPS Without Getting Banned: Headed Browser + Xvfb Solution

I. Introduction

Problem Background

You have a VPS (Virtual Private Server) and want to automate Twitter posting.

But here's the problem:

❌ Twitter API requires approval and has many restrictions
❌ Selenium is easily detected
❌ Puppeteer headless mode is blocked by Twitter's anti-scraping measures
❌ VPS has no desktop environment, browser cannot start

The Core Contradiction: Twitter requires a headed browser (with GUI), but VPS has no monitor.

Goal of This Article

Through the Xvfb + Chromium + VNC + CDP solution, achieve on VPS:

✅ Headed browser execution (bypass anti-scraping detection)
✅ Remote visual debugging (view browser via VNC)
✅ Automation control (CDP protocol)
✅ Login state persistence (no need to re-login)
✅ One-click setup (via OpenClaw)

Applicable Scenarios

This solution is not limited to Twitter; it can be extended to:

Xiaohongshu (strict anti-scraping)
WeChat Official Account (requires QR code login)
Instagram (detects headless mode)
LinkedIn (complex interactions)
Taobao/JD (risk control systems)

Any scenario requiring a headed browser on VPS can use this architecture.

II. Core Concepts

Before starting configuration, we need to understand 4 core concepts.

2.1 Headed Mode vs Headless Mode

What is Headed Mode?

Definition: The browser has a complete graphical interface, just like opening Chrome on your computer.

Advantages:

✅ Visual debugging: See exactly what's happening in the browser
✅ Good compatibility: Fully renders pages, supports all web features
✅ Hard to detect: Behavior matches real users, difficult for anti-scraping systems to identify
✅ Supports complex interactions: Drag-and-drop, right-click menus, popups, etc.

Disadvantages:

❌ Requires display environment: Must have a physical or virtual monitor
❌ High resource consumption: Needs to render GUI, consumes GPU memory and CPU
❌ Not suitable for large-scale concurrency: Each browser instance consumes significant resources

What is Headless Mode?

Definition: Browser runs without a graphical interface, pure background operation, no visible window rendering.

Advantages:

✅ Low resource consumption: No GUI rendering, saves memory and CPU
✅ Fast startup: Skips graphics initialization, starts in 1-2 seconds
✅ Suitable for batch tasks: Can run multiple instances simultaneously

Disadvantages:

❌ Easily detected: Missing WebGL, Canvas fingerprints, easily identified
❌ Difficult debugging: Cannot see the interface, must troubleshoot through logs
❌ Not supported by some websites: Twitter, Xiaohongshu, etc. detect and block access

Comparison Table

Metric	Headed Mode	Headless Mode
GUI	✅ Yes	❌ No
Memory Usage	~500MB	~200MB
CPU Usage	Medium	Low
Startup Speed	3-5 seconds	1-2 seconds
Anti-Scraping Capability	Strong (hard to detect)	Weak (easy to detect)
Debugging Difficulty	Low (visual)	High (blind operation)
Applicable Scenarios	Complex sites, anti-scraping sites	Simple crawlers, batch tasks

Conclusion: For websites with anti-scraping mechanisms like Twitter and Xiaohongshu, headed mode is mandatory.

2.2 Xvfb - Virtual Display Server

What Is It?

Xvfb = X Virtual Framebuffer

It's a tool that simulates a display environment on servers without physical monitors.

Why Is It Needed?

VPS servers typically lack physical monitors, but headed browsers require a display environment to start.

The Contradiction:

Browser: I need a monitor to run
VPS: I don't have a monitor

The Solution:

Xvfb: I create a "virtual monitor" that the browser thinks exists, but actually doesn't

Analogy

Physical Monitor = Real television
Xvfb = Virtual television (the browser thinks it exists, but it doesn't)

The browser connects to Xvfb, renders pages normally, but the output never appears on any physical screen.

Working Principle

┌─────────────────────────────────┐
│   VPS Server (No Physical Monitor)│
├─────────────────────────────────┤
│  Xvfb Creates Virtual Display :99 │
│  (Resolution 1920x1080, 24-bit)   │
│           ↓                        │
│  Chromium Connects to :99         │
│  (Thinks monitor exists, renders) │
│           ↓                        │
│  Pages Load, JavaScript Executes  │
└─────────────────────────────────┘

Key Parameters:

:99 - Display number (can be :0, :1, :99, etc.)
1920x1080x24 - Resolution and color depth

2.3 VNC - Remote Desktop

What Is It?

VNC = Virtual Network Computing

It's a protocol for remotely viewing and controlling server desktops.

Why Is It Needed?

Although Xvfb creates a virtual display, we cannot see what the browser is doing.

VNC's Role:

✅ Debugging: See actual browser operation
✅ Manual operations: First-time login, captcha handling
✅ Verification: Confirm automation scripts work correctly

Port Mapping

Xvfb display numbers correspond to VNC ports:

Xvfb Display	VNC Port
:0	5900
:1	5901
:99	5999

Formula: VNC Port = 5900 + Display Number

Connection Flow

┌──────────┐    ┌─────────────┐    ┌──────────┐
│ Local PC │ →  │ VNC Viewer  │ →  │ VPS :5999│
│   (You)  │    │(Remote Desk)│    │ (Server) │
└──────────┘    └─────────────┘    └──────────┘
                                         ↓
                                    ┌──────────┐
                                    │ Xvfb :99 │
                                    │(Virtual) │
                                    └──────────┘
                                         ↓
                                    ┌──────────┐
                                    │Chromium  │
                                    │(Browser) │
                                    └──────────┘

You connect to VPS via VNC Viewer from your local PC and can see the Chromium browser interface.

2.4 CDP - Browser Control Protocol

What Is It?

CDP = Chrome DevTools Protocol

It's the official standard protocol provided by Chrome/Chromium for remotely controlling browsers.

Why Is It Needed?

VNC only lets us "see" the browser; automation requires "controlling" it.

CDP's Role:

✅ Automation control: Control browser via code (click, input, screenshots, etc.)
✅ No Selenium required: Use native protocol directly, more stable
✅ Official support: Maintained by Chrome/Chromium, excellent compatibility

Port

CDP default port is 9222 (customizable).

When starting Chromium, add the parameter:

--remote-debugging-port=9222

Communication Flow

┌──────────────────┐         ┌─────────────┐         ┌──────────┐
│ Playwright Script│  ←───→  │  CDP :9222  │  ←───→  │Chromium  │
│  (Automation)    │         │(Control Prot)│        │(Browser) │
└──────────────────┘         └─────────────┘         └──────────┘
        ↓                            ↓                      ↓
   Send Commands              Protocol Conversion      Execute Actions
   (Click Button)             (JSON-RPC)              (Simulate Click)

III. Overall Architecture

Now let's combine the 4 concepts and see the complete architecture.

Architecture Diagram

┌─────────────────────────────────────────────────────────┐
│              VPS Server (No Physical Monitor)            │
├─────────────────────────────────────────────────────────┤
│                                                          │
│  ┌────────────────────────────────────────────┐         │
│  │  Xvfb :99 (Virtual Display 1920x1080x24)   │         │
│  └────────────────────────────────────────────┘         │
│                      ↓                                   │
│  ┌────────────────────────────────────────────┐         │
│  │  Chromium (Headed Mode)                    │         │
│  │  ├─ CDP :9222 (Automation Control API)    │         │
│  │  └─ User Data Dir (Save Login State)      │         │
│  │     /root/.local/share/chromium-profile    │         │
│  └────────────────────────────────────────────┘         │
│                      ↑                                   │
│  ┌────────────────────────────────────────────┐         │
│  │  VNC Server :5999 (Remote View API)        │         │
│  └────────────────────────────────────────────┘         │
│                                                          │
└─────────────────────────────────────────────────────────┘
           ↑                              ↑
           │                              │
    ┌──────────────┐            ┌─────────────────┐
    │  VNC Viewer  │            │  Playwright     │
    │  (Debug)     │            │  (Automation)   │
    └──────────────┘            └─────────────────┘

Data Flow Explanation

1. Xvfb Provides Virtual Display Environment

Creates virtual display :99
Resolution 1920x1080, 24-bit color depth
Runs in background, doesn't占用 physical monitor

2. Chromium Connects to Virtual Display

Starts in headed mode
Connects to Xvfb :99
Renders pages normally, executes JavaScript

3. User Data Dir Saves Login State

Specifies data directory: /root/.local/share/chromium-profile
Automatically saves cookies, cache, browsing history
Login state restores automatically after restart
No need to manually export/import cookies

4. VNC Connects to Virtual Display

VNC Server listens on port 5999
Connects to Xvfb :99
User views browser remotely via VNC Viewer

5. CDP Connects to Chromium

Chromium enables CDP port 9222
Playwright sends control commands via CDP
Achieves automation (filling, clicking, screenshots, etc.)

Key Features

✅ Headed Mode: Bypass Twitter anti-scraping detection
✅ Virtual Display: No physical monitor required
✅ Remote Visibility: View browser via VNC
✅ Automation Control: CDP protocol
✅ Login Persistence: User Data Dir auto-saves
✅ Stable & Reliable: Chromium more stable than Chrome

IV. One-Click Configuration

After understanding the architecture, let's configure the environment.

Complete Prompt for OpenClaw

Copy the following prompt and send it to OpenClaw:

I need to configure Twitter auto-posting environment on VPS.

Please help me complete the following configuration:

1. Install Dependencies
   - Xvfb (Virtual Display)
   - x11vnc (VNC Server)
   - Chromium Browser
   - Node.js 22+
   - Playwright

2. Start Services
   - Xvfb :99 (Resolution 1920x1080x24)
   - x11vnc :5999 (Connect to :99 display)
   - Chromium (CDP Port 9222, Headed Mode)
     * Data Directory: /root/.local/share/chromium-shared-profile
     * Parameters: --no-sandbox --disable-dev-shm-usage

3. Create Auto-Posting Script
   - Connect to CDP :9222
   - Open Twitter compose page
   - Fill content and publish

4. Environment Variables
   - DISPLAY=:99
   - XAUTHORITY=/root/.Xauthority

After completion, tell me:
- VNC connection address
- How to test auto-posting

OpenClaw will automatically complete all configuration.

Configuration Complete

OpenClaw will return:

✅ Configuration Complete!

VNC Connection Address: Your_VPS_IP:5999
CDP Port: 9222

Next Steps:
1. Use VNC Viewer to connect to VPS
2. Manually log into Twitter in the browser
3. Test auto-posting:
   Send me the command: "Help me post a test tweet"

V. Manual Operation Steps

After configuration, 3 manual operations are required.

5.1 Connect VNC

Download VNC Viewer

Download based on your operating system:

Windows: https://www.realvnc.com/en/connect/download/viewer/windows/
macOS: https://www.realvnc.com/en/connect/download/viewer/macos/
Linux:

  apt-get install tigervnc-viewer
  # or
  yum install tigervnc

Connection Steps

Open VNC Viewer
Enter address: Your_VPS_IP:5999
- Example: 123.45.67.189:5999
Click "Connect"

First Connection

May see black screen (normal behavior)
Wait 2-3 seconds, Chromium window will appear
If screen stays black, check if Chromium started:

  ps aux | grep chromium

5.2 First-Time Twitter Login

Operate in VNC

After successful connection, you'll see the Chromium browser window.

操作步骤:

Access Twitter

Enter in address bar: https://twitter.com
Manually complete login

Important Notes

✅ Only Need to Login Once

Login state automatically saves to User Data Dir
Login state automatically restores after server restart
No need to manually export/import cookies

✅ Login State Persistence Mechanism

Chromium uses --user-data-dir parameter
All data saved to: /root/.local/share/chromium-shared-profile
Includes: Cookies, cache, history, extensions, etc.

⚠️ Precautions

Do not delete User Data Dir directory
Do not log into the same account elsewhere (may trigger security verification)
If login state is lost, simply re-login manually

5.3 Test Auto-Posting

After login is complete, test the automation functionality.

Command for OpenClaw

Help me post a test tweet: "This is a test tweet automatically published via VPS 🚀"

What OpenClaw Will Do

Call Auto-Posting Script

   node /root/post-tweet.js "This is a test tweet automatically published via VPS 🚀"

Connect to CDP
- Connect to http://localhost:9222
- Get existing browser context
Automation Operations
- Open Twitter compose page
- Fill tweet content
- Click "Post" button
Return Result

   ✅ Tweet Published

View in VNC

If you keep VNC connected, you can see in real-time:

Browser automatically opens new tab
Navigate to Twitter compose page
Text box automatically fills with content
"Post" button automatically clicked
Tweet published successfully

This is the power of automation: You just send the command, the rest is fully automatic.

Verify Tweet

Refresh Twitter webpage to see if tweet was published
Or view Twitter homepage in VNC

VI. Extension to Other Websites

This architecture is not limited to Twitter; it can be extended to any website requiring a headed browser.

6.1 Applicable Scenarios

Websites Also Requiring Headed Mode:

Website	Reason	Challenges
Xiaohongshu	Strict anti-scraping, detects headless mode	Need to simulate real user behavior
WeChat Official Account	Requires QR code login	Need manual QR scan
Instagram	Detects WebGL, Canvas fingerprints	Headless mode blocked
LinkedIn	Complex interactions, risk control	Needs full rendering
Taobao/JD	Slider captcha, risk control	Needs real browser environment
Douyin/Kuaishou	Video upload, complex editor	Needs complete DOM manipulation

Core Characteristics:

✅ Has anti-scraping detection
✅ Requires login
✅ Has complex interactions
✅ Detects browser fingerprints

6.2 Universal Architecture

Core Remains Unchanged:

Xvfb virtual display
VNC remote viewing
CDP automation control
User Data Dir saves login state

Needs Adjustment:

Page URLs
Page selectors (button, input field locators)
Operation flow (click sequence, wait times)

VII. Summary

Technology is not isolated; architectures are reusable; thinking can be transferred.

When you understand the logic behind this architecture, what you possess is not just an auto-tweeting tool, but a key to unlock the automation gateway.

Copy the prompt to OpenClaw, one-click configuration, one-click launch, let machines work for you, let time create value for you.

This is the power of automation. 🚀

使用Openclaw在服务器发推特不被封？用有头浏览器 + 虚拟显示完美绕过反爬检测

Garyvov — Tue, 10 Mar 2026 13:08:49 +0000

一、前言

问题背景

你有一台 VPS 服务器，想实现 Twitter 自动发推。

但问题来了：

❌ Twitter API 需要审核，限制多
❌ Selenium 容易被检测
❌ Puppeteer headless 模式被 Twitter 反爬
❌ VPS 没有桌面环境，浏览器无法启动

核心矛盾：Twitter 需要有头浏览器（有图形界面），但 VPS 没有显示器。

本文目标

通过 Xvfb + Chromium + VNC + CDP 方案，在 VPS 上实现：

✅ 有头浏览器运行（绕过反爬检测）

✅ 远程可视化调试（VNC 查看浏览器）

✅ 自动化控制（CDP 协议）

✅ 登录状态持久化（无需重复登录）

✅ 一键配置（通过 OpenClaw）

适用场景

这套方案不只适用于 Twitter，还可以扩展到：

小红书（反爬严格）
微信公众号（需要扫码登录）
Instagram（检测无头模式）
LinkedIn（复杂交互）
淘宝/京东（风控系统）

任何需要在 VPS 上运行有头浏览器的场景，都可以使用这套架构。

二、核心概念

在开始配置之前，我们需要理解 4 个核心概念。

2.1 有头模式 vs 无头模式

什么是有头模式（Headed Mode）？

定义：浏览器有完整的图形界面，就像你在电脑上打开 Chrome 一样。

优点：

✅ 可视化调试：所见即所得，能看到浏览器实际运行情况
✅ 兼容性好：完整渲染页面，支持所有 Web 特性
✅ 不易被检测：行为与真实用户一致，难以被反爬系统识别
✅ 支持复杂交互：拖拽、右键菜单、弹窗等

缺点：

❌ 需要显示环境：必须有显示器或虚拟显示
❌ 资源占用高：需要渲染图形界面，消耗显存和 CPU
❌ 不适合大规模并发：每个浏览器实例占用资源多

什么是无头模式（Headless Mode）？

定义：浏览器无图形界面，纯后台运行，不渲染可见窗口。

优点：

✅ 资源占用低：不渲染界面，节省内存和 CPU
✅ 启动速度快：跳过图形初始化，1-2 秒启动
✅ 适合批量任务：可以同时运行多个实例

缺点：

❌ 容易被检测：缺少 WebGL、Canvas 指纹，容易被识别
❌ 调试困难：看不到界面，只能通过日志排查问题
❌ 部分网站不支持：Twitter、小红书等会检测并拒绝访问

对比表格

指标	有头模式	无头模式
图形界面	✅ 有	❌ 无
内存占用	~500MB	~200MB
CPU 占用	中等	低
启动速度	3-5秒	1-2秒
反爬能力	强（难检测）	弱（易检测）
调试难度	低（可视化）	高（盲操作）
适用场景	复杂网站、反爬网站	简单爬虫、批量任务

结论：对于 Twitter、小红书等有反爬机制的网站，必须使用有头模式。

2.2 Xvfb - 虚拟显示服务器

是什么？

Xvfb = X Virtual Framebuffer（X 虚拟帧缓冲）

它是一个在无显示器的服务器上模拟显示环境的工具。

为什么需要？

VPS 服务器通常没有物理显示器，但有头浏览器需要显示环境才能启动。

矛盾：

浏览器：我需要显示器才能运行
VPS：我没有显示器

解决方案：

Xvfb：我创建一个"虚拟显示器"，浏览器以为有显示器，实际上没有

类比理解

物理显示器 = 真实的电视机
Xvfb = 虚拟的电视机（浏览器以为有，实际没有）

浏览器连接到 Xvfb，正常渲染页面，但画面不会显示在任何物理屏幕上。

工作原理

┌─────────────────────────────────┐
│   VPS 服务器（无物理显示器）      │
├─────────────────────────────────┤
│  Xvfb 创建虚拟显示 :99           │
│  (分辨率 1920x1080, 24位色深)    │
│           ↓                      │
│  Chromium 连接到 :99             │
│  (以为有显示器，正常渲染)         │
│           ↓                      │
│  页面正常加载，JavaScript 执行   │
└─────────────────────────────────┘

关键参数：

:99 - 显示编号（可以是 :0, :1, :99 等）
1920x1080x24 - 分辨率和色深

2.3 VNC - 远程桌面

是什么？

VNC = Virtual Network Computing（虚拟网络计算）

它是一个远程查看和控制服务器桌面的协议。

为什么需要？

虽然 Xvfb 创建了虚拟显示，但我们看不到浏览器在做什么。

VNC 的作用：

✅ 调试：看到浏览器实际运行情况
✅ 手动操作：首次登录、处理验证码
✅ 验证：确认自动化脚本是否正常工作

端口映射

Xvfb 的显示编号和 VNC 端口有对应关系：

Xvfb 显示	VNC 端口
:0	5900
:1	5901
:99	5999

公式：VNC 端口 = 5900 + 显示编号

连接流程

┌──────────┐    ┌─────────────┐    ┌──────────┐
│ 本地电脑  │ →  │ VNC Viewer  │ →  │ VPS :5999│
│  (你)    │    │(远程桌面软件)│    │ (服务器) │
└──────────┘    └─────────────┘    └──────────┘
                                         ↓
                                    ┌──────────┐
                                    │ Xvfb :99 │
                                    │(虚拟显示)│
                                    └──────────┘
                                         ↓
                                    ┌──────────┐
                                    │ Chromium │
                                    │ (浏览器) │
                                    └──────────┘

你在本地电脑上，通过 VNC Viewer 连接到 VPS，就能看到 Chromium 浏览器的界面。

2.4 CDP - 浏览器控制协议

是什么？

CDP = Chrome DevTools Protocol

它是 Chrome/Chromium 官方提供的远程控制浏览器的标准协议。

为什么需要？

VNC 只能让我们"看到"浏览器，但自动化需要"控制"浏览器。

CDP 的作用：

✅ 自动化控制：通过代码控制浏览器（点击、输入、截图等）
✅ 无需 Selenium：直接使用原生协议，更稳定
✅ 官方支持：Chrome/Chromium 官方维护，兼容性好

端口

CDP 默认端口是 9222（可自定义）。

启动 Chromium 时，添加参数：

--remote-debugging-port=9222

通信流程

┌──────────────────┐         ┌─────────────┐         ┌──────────┐
│ Playwright 脚本  │  ←───→  │  CDP :9222  │  ←───→  │ Chromium │
│  (自动化代码)    │         │  (控制协议) │         │ (浏览器) │
└──────────────────┘         └─────────────┘         └──────────┘
        ↓                            ↓                      ↓
   发送命令                      协议转换                执行操作
   (点击按钮)                   (JSON-RPC)             (模拟点击)

三、整体架构

现在我们把 4 个概念组合起来，看看完整架构。

架构图

┌─────────────────────────────────────────────────────────┐
│                VPS 服务器（无物理显示器）                 │
├─────────────────────────────────────────────────────────┤
│                                                          │
│  ┌────────────────────────────────────────────┐         │
│  │  Xvfb :99 (虚拟显示 1920x1080x24)          │         │
│  └────────────────────────────────────────────┘         │
│                      ↓                                   │
│  ┌────────────────────────────────────────────┐         │
│  │  Chromium (有头模式)                        │         │
│  │  ├─ CDP :9222 (自动化控制接口)             │         │
│  │  └─ User Data Dir (保存登录状态)           │         │
│  │     /root/.local/share/chromium-profile    │         │
│  └────────────────────────────────────────────┘         │
│                      ↑                                   │
│  ┌────────────────────────────────────────────┐         │
│  │  VNC Server :5999 (远程查看接口)           │         │
│  └────────────────────────────────────────────┘         │
│                                                          │
└─────────────────────────────────────────────────────────┘
           ↑                              ↑
           │                              │
    ┌──────────────┐            ┌─────────────────┐
    │  VNC Viewer  │            │ Playwright 脚本 │
    │  (远程调试)  │            │  (自动化操作)   │
    └──────────────┘            └─────────────────┘

数据流说明

1. Xvfb 提供虚拟显示环境

创建虚拟显示 :99
分辨率 1920x1080，24 位色深
后台运行，不占用物理显示器

2. Chromium 连接到虚拟显示

以有头模式启动
连接到 Xvfb :99
正常渲染页面，执行 JavaScript

3. User Data Dir 保存登录状态

指定数据目录：/root/.local/share/chromium-profile
自动保存 Cookie、缓存、历史记录
重启后登录状态自动恢复
无需手动导出/导入 Cookie

4. VNC 连接到虚拟显示

VNC Server 监听端口 5999
连接到 Xvfb :99
用户通过 VNC Viewer 远程查看浏览器

5. CDP 连接到 Chromium

Chromium 开启 CDP 端口 9222
Playwright 通过 CDP 发送控制指令
实现自动化操作（填写、点击、截图等）

关键特性

✅ 有头模式：绕过 Twitter 反爬检测

✅ 虚拟显示：无需物理显示器

✅ 远程可视：VNC 查看浏览器

✅ 自动化控制：CDP 协议

✅ 登录持久化：User Data Dir 自动保存

✅ 稳定可靠：Chromium 比 Chrome 更稳定

四、一键配置

理解了架构后，我们开始配置环境。

给 OpenClaw 的完整提示词

复制以下提示词，发送给 OpenClaw：

我需要在 VPS 上配置 Twitter 自动发推环境。

请帮我完成以下配置：

1. 安装依赖
   - Xvfb（虚拟显示）
   - x11vnc（VNC 服务器）
   - Chromium 浏览器
   - Node.js 22+
   - Playwright

2. 启动服务
   - Xvfb :99 (分辨率 1920x1080x24)
   - x11vnc :5999 (连接到 :99 显示)
   - Chromium (CDP 端口 9222, 有头模式)
     * 数据目录：/root/.local/share/chromium-shared-profile
     * 参数：--no-sandbox --disable-dev-shm-usage

3. 创建自动发推脚本
   - 连接到 CDP :9222
   - 打开 Twitter 发推页面
   - 填写内容并发布

4. 环境变量
   - DISPLAY=:99
   - XAUTHORITY=/root/.Xauthority

完成后告诉我：
- VNC 连接地址
- 如何测试自动发推

OpenClaw 会自动完成所有配置

配置完成

OpenClaw 会返回：

✅ 配置完成！

VNC 连接地址：你的VPS_IP:5999
CDP 端口：9222

下一步：
1. 使用 VNC Viewer 连接到 VPS
2. 在浏览器中手动登录 Twitter
3. 测试自动发推：
   给我发送指令："帮我发一条测试推文"

五、手动操作部分

配置完成后，需要进行 3 个手动操作。

5.1 连接 VNC

下载 VNC Viewer

根据你的操作系统下载：

Windows：https://www.realvnc.com/en/connect/download/viewer/windows/
macOS：https://www.realvnc.com/en/connect/download/viewer/macos/
Linux：

  apt-get install tigervnc-viewer
  # 或
  yum install tigervnc

连接步骤

打开 VNC Viewer
输入地址：你的VPS_IP:5999
- 例如：123.45.67.189:5999
点击"Connect"或"连接"

首次连接

可能看到黑屏（正常现象）
等待 2-3 秒，Chromium 窗口会出现
如果一直黑屏，检查 Chromium 是否启动：

  ps aux | grep chromium

5.2 首次登录 Twitter

在 VNC 中操作

连接成功后，你会看到 Chromium 浏览器窗口。

操作步骤：

访问 Twitter

在地址栏输入：https://twitter.com
手动完成登录

重要说明

✅ 只需登录一次

登录状态会自动保存到 User Data Dir
重启服务器后，登录状态自动恢复
无需手动导出/导入 Cookie

✅ 登录状态持久化原理

Chromium 使用 --user-data-dir 参数
所有数据保存在：/root/.local/share/chromium-shared-profile
包括：Cookie、缓存、历史记录、扩展等

⚠️ 注意事项

不要删除 User Data Dir 目录
不要在其他地方登录同一账号（可能触发安全验证）
如果登录状态丢失，重新手动登录即可

5.3 测试自动发推

登录完成后，测试自动化功能。

给 OpenClaw 的指令

帮我发一条测试推文："这是通过 VPS 自动发布的测试推文 🚀"

OpenClaw 会做什么

调用自动发推脚本

   node /root/post-tweet.js "这是通过 VPS 自动发布的测试推文 🚀"

连接到 CDP
- 连接到 http://localhost:9222
- 获取已有的浏览器上下文
自动化操作
- 打开 Twitter 发推页面
- 填写推文内容
- 点击"发布"按钮
返回结果

   ✅ 推文已发布

在 VNC 中查看

如果你保持 VNC 连接，可以实时看到：

浏览器自动打开新标签页
跳转到 Twitter 发推页面
文本框自动填写内容
"发布"按钮自动点击
推文发布成功

这就是自动化的魅力：你只需发送指令，剩下的全自动完成。

验证推文

在 Twitter 网页上刷新，查看推文是否发布
或者在 VNC 中查看 Twitter 首页

六、扩展到其他网站

这套架构不只适用于 Twitter，可以扩展到任何需要有头浏览器的网站。

6.1 适用场景

同样需要有头模式的网站：

网站	原因	难点
小红书	反爬严格，检测无头模式	需要模拟真实用户行为
微信公众号	需要扫码登录	需要手动扫码
Instagram	检测 WebGL、Canvas 指纹	无头模式被拒绝访问
LinkedIn	复杂交互，风控系统	需要完整渲染
淘宝/京东	滑块验证码，风控系统	需要真实浏览器环境
抖音/快手	视频上传，复杂编辑器	需要完整 DOM 操作

核心特征：

✅ 有反爬检测
✅ 需要登录
✅ 有复杂交互
✅ 检测浏览器指纹

6.2 通用架构

核心不变：

Xvfb 虚拟显示
VNC 远程查看
CDP 自动化控制
User Data Dir 保存登录状态

需要调整：

页面 URL
页面选择器（按钮、输入框的定位）
操作流程（点击顺序、等待时间）

七、总结

技术不是孤立的，架构是可复用的，思维是可以迁移的。

当你理解了这套架构背后的逻辑，你拥有的不仅是一个自动发推工具，而是一把打开自动化大门的钥匙。

复制提示词给 OpenClaw，一键配置，一键启动，让机器替你工作，让时间为你创造价值。

这就是自动化的力量。🚀

FireRed-Image-Edit 1.1 Tops Open-Source Rankings with 7.94 Score, Surpassing Alibaba's Qwen

Garyvov — Tue, 10 Mar 2026 03:34:51 +0000

FireRed-Image-Edit 1.1 Tops Open-Source Rankings with 7.94 Score, Surpassing Alibaba's Qwen

The open-source image editing landscape has a new SOTA champion.

TL;DR: Xiaohongshu (RED) released FireRed-Image-Edit-1.1 on March 3rd, achieving 7.943 score across 5 authoritative benchmarks, surpassing Alibaba's Qwen-Image-Edit-2511 (released in December). The model excels in identity consistency, multi-element fusion, and portrait makeup editing.

01 The Open-Source Image Editing SOTA Battle

Since early 2026, the image editing field has been intensely competitive.

On December 23rd, Alibaba's Qwen team released Qwen-Image-Edit-2511, scoring 7.877 (GEdit-EN) to claim the open-source top spot.

Just 2 months later, Xiaohongshu struck back.

On March 3rd, RED's foundation model team released FireRed-Image-Edit-1.1, achieving 7.943 score and setting a new record.

More impressively, FireRed-Image-Edit-1.1 leads across all 5 authoritative benchmarks:

Metric	FireRed-1.1	Qwen-2511	Lead
GEdit (EN)	7.943	7.877	+0.066
GEdit (CN)	7.887	7.819	+0.068
ImgEdit	4.56	4.51	+0.05
REDEdit (EN)	4.26	4.23	+0.03
REDEdit (CN)	4.33	4.18	+0.15

This lead is significant at SOTA level. Especially the +0.15 advantage in Chinese REDEdit demonstrates FireRed's strength in Chinese language understanding.

02 Identity Consistency: Best-in-Class Portrait Editing

The biggest pain point in image editing? Faces change when you edit.

Change clothes, the face shape changes. Change background, facial features shift. This "edit = deform" problem has plagued image editing models.

FireRed-Image-Edit-1.1's solution: SOTA-level identity consistency.

FireRed-1.1 scores 4.33 (Chinese) and 4.26 (English) on REDEdit-Bench, ranking first among open-source models. This comprehensive score includes identity consistency, instruction following, and visual quality.

What does this mean?

Clothing changes: Excellent identity preservation
Background changes: Complete facial detail retention
Adding accessories: Original features remain intact

Compared to Qwen-Image-Edit-2511's 4.18 (Chinese), FireRed-1.1 clearly excels in identity preservation.

03 Agent Intelligence: 10+ Element Auto-Fusion

Consider this complex editing instruction:

"Place the man from image 2, wearing the black 'New York Bears' baseball jacket and camo pants and blue-black AJ1 high-tops from image 2, on the empty football field from image 1. The field is sunny, he's wearing the black cap with red brim from image 2... casually carrying the vintage brown leather travel bag from image 3 on his left shoulder... and dragging the white skateboard from image 3 with his right hand..."

How do traditional models handle 10+ element complex edits?

The harsh reality: Segmented processing, multiple iterations, manual stitching — inefficient with poor results.

FireRed-Image-Edit-1.1's approach is smarter: Agent auto-processing.

The built-in Agent module automatically completes three steps:

ROI Detection - Calls Gemini function-calling model to identify key regions in each image
Crop & Stitch - Automatically crops and stitches into 2-3 composite images (~1024×1024)
Instruction Rewriting - Automatically rewrites user instructions to ensure correct image references

The entire process requires no manual intervention, completing complex edits with one click.

Compared to Qwen-Image-Edit-2511 (supports multiple inputs), FireRed-1.1's Agent solution is clearly more intelligent.

04 Professional Makeup: Dozens of Makeup Styles

Makeup editing has always been the "deep end" of image editing.

Why is it difficult?

Complex makeup details (eyebrows, eyeshadow, lipstick, blush, highlights)
Style variations (Western vs. Asian vs. Chinese makeup)
Skin tone adaptation (different effects for various skin tones)

FireRed-Image-Edit-1.1's solution: Professional makeup LoRA models.

Official release includes specialized makeup LoRA supporting dozens of makeup styles:

Western Y2K Makeup: Cool-toned matte foundation, deep brown arched brows, silver-gray eyeshadow, mirror-finish gloss
Satin Base Makeup: Natural satin foundation, light brown brow powder, deep brown eyeshadow, moisturizing mauve lipstick
Halloween Witch Makeup, Creative Makeup, etc.

This "professional-grade" makeup editing is unprecedented in open-source models.

05 Technical Comparison: FireRed vs Qwen

What are the technical differences?

FireRed-Image-Edit-1.1

Training Data: 1.6B samples (900M T2I + 700M editing pairs)

Training Pipeline:

Pretrain - Establish basic generation capabilities
SFT - Supervised fine-tuning, inject editing capabilities
RL - Reinforcement learning, optimize identity consistency and instruction following

Key Technologies:

Multi-Condition Aware Bucket Sampler
Asymmetric Gradient Optimization for DPO
DiffusionNFT with layout-aware OCR rewards
Consistency Loss for identity preservation

Qwen-Image-Edit-2511

Training Data: Not disclosed

Training Pipeline: Based on Qwen-Image-2512's MMDiT architecture

Key Technologies:

MMDiT (Multimodal Diffusion Transformer)
Native Chinese text rendering
Unified architecture with Qwen-Image-2512

Comparison Conclusion:

FireRed is more transparent in training data scale and technical details, while Qwen has advantages in architecture unification and Chinese text rendering.

06 Engineering Optimization: 4.5s/image, 30GB VRAM

Accuracy alone isn't enough — engineering deployment is key.

FireRed-Image-Edit-1.1's engineering optimization is solid:

Inference Speed: 4.5s/image (optimized) based on v1.0 data
VRAM Requirement: 30GB (optimized) based on v1.0 data
Acceleration: Full support for distillation, quantization, static compilation

Compared to Qwen-Image-Edit-2511:

Specific VRAM and speed data needs verification
Has LightX2V providing 42.55x acceleration support for Qwen

Conclusion: FireRed-1.1 is more mature in engineering optimization, Qwen has acceleration solutions but requires additional configuration.

07 Open-Source Ecosystem: Apache 2.0 Fully Open

Both use Apache 2.0 license, meaning:

✅ Commercial use allowed
✅ Code modification allowed
✅ Distribution allowed
✅ No requirement to open-source derivative works

FireRed-Image-Edit-1.1 Ecosystem:

GitHub Stars: 600+ (as of 2026.03.03)
HuggingFace: Released
ModelScope: Released
ComfyUI: Official node support
Technical Report: arXiv:2602.13344

Qwen-Image-Edit-2511 Ecosystem:

GitHub Stars: Needs verification
HuggingFace: Released
ModelScope: Released
ComfyUI: Community support
Technical Report: Needs verification

Conclusion: FireRed ecosystem is newer, Qwen ecosystem is more mature.

08 Summary: SOTA Changes Hands, But Competition Just Began

FireRed-Image-Edit-1.1's release indeed refreshes the open-source image editing SOTA.

Leading across all 5 benchmarks, achieving new heights in identity consistency, multi-element fusion, and portrait makeup.

But this is just the beginning.

Alibaba's Qwen team released version 2511 in December, Xiaohongshu released version 1.1 in March — the "arms race" in open-source image editing has just begun.

What to expect next:

Will Qwen release version 2603 to counter?
Will FireRed continue iterating to 1.2, 1.3?
Will other teams (Stability, Midjourney open-source) join the battle?

The SOTA battle in open-source image editing — the best is yet to come.

What's your take on the FireRed vs Qwen SOTA battle?

Share your thoughts in the comments and discuss the future of open-source image editing.

小红书 FireRed-Image-Edit-1.1 刚开源就登顶！7.94 分干翻阿里 Qwen-Image-Edit-2511

Garyvov — Tue, 10 Mar 2026 03:27:58 +0000

小红书 FireRed-Image-Edit-1.1 刚开源就登顶！7.94 分干翻阿里 Qwen-Image-Edit-2511

开源图像编辑领域，SOTA 易主了。

TL;DR：小红书 3 月 3 日刚发布 FireRed-Image-Edit-1.1，在 5 个权威 Benchmark 上全面超越阿里 12 月发布的 Qwen-Image-Edit-2511，以 7.943 分刷新开源图像编辑模型纪录。身份一致性、多元素融合、人像美妆三大能力达到 SOTA 级别。

01 开源图像编辑 SOTA 争夺战

2026 年开年以来，图像编辑领域可以说是"神仙打架"。

12 月 23 日，阿里通义千问团队发布 Qwen-Image-Edit-2511，以 7.877 分（GEdit-EN）拿下开源榜第一。

结果才过了 2 个月，小红书反手就给了个惊喜。

3 月 3 日，小红书基础模型团队发布 FireRed-Image-Edit-1.1，7.943 分直接把纪录刷新高。

更狠的是，FireRed-Image-Edit-1.1 在5 个权威 Benchmark 上全部领先，没有一项落后：

指标	FireRed-1.1	Qwen-2511	领先幅度
GEdit (EN)	7.943	7.877	+0.066
GEdit (CN)	7.887	7.819	+0.068
ImgEdit	4.56	4.51	+0.05
REDEdit (EN)	4.26	4.23	+0.03
REDEdit (CN)	4.33	4.18	+0.15

说实话，这个领先幅度在 SOTA 级别竞争中已经相当可观了。尤其是中文 REDEdit 领先 0.15 分，说明 FireRed 在中文场景理解上确实有优势。

02 身份一致性：开源最强人像编辑

图像编辑最头疼的问题是什么？人一编辑就变脸。

你给照片换个衣服，结果脸型变了；换个背景，五官也变了。这种"编辑即变形"的问题，一直是图像编辑模型的痛点。

FireRed-Image-Edit-1.1 的解决方案很直接：身份一致性做到 SOTA。

FireRed-1.1 在 REDEdit-Bench benchmark 上以 4.33 分（中文）和 4.26 分（英文）拿下开源第一，这个综合评分包含了身份一致性、指令遵循、视觉质量等多个维度。

这个成绩意味着什么？

换衣服：身份保持效果优秀
换背景：五官细节保留完整
加配饰：原有特征不被覆盖

对比 Qwen-Image-Edit-2511 的 4.18 分（中文），FireRed-1.1 在身份保持上确实更胜一筹。

03 Agent 智能化：10+ 元素自动融合

再看这个复杂编辑指令：

"将图 2 的男人，穿着图 2 的黑色'New York Bears'棒球夹克和迷彩裤子和蓝黑配色的 AJ1 高帮球鞋，在图 1 的空旷的橄榄球场上。球场阳光明媚，他带着图 2 黑色的帽子，帽檐是红色...他的左肩随意地挎着图 3 那只复古棕色皮质旅行包...右手则轻松地拖着图 3 的白色滑板..."

这种 10+ 元素的复杂编辑，传统模型怎么处理？

答案很残酷：分段处理、多次迭代、人工拼接——效率低，效果还不好。

FireRed-Image-Edit-1.1 的做法更聪明：Agent 自动处理。

内置的 Agent 模块会自动完成三步操作：

ROI 检测 - 调用 Gemini 函数调用模型，识别每张图的关键区域
裁剪拼接 - 自动裁剪并拼接成 2-3 张复合图（约 1024×1024）
指令重写 - 自动改写用户指令，确保图片引用正确

整个过程无需人工干预，一键完成复杂编辑。

对比 Qwen-Image-Edit-2511（支持多张输入），FireRed-1.1 的 Agent 方案明显更智能。

04 专业美妆：数十种妆容风格

美妆编辑一直是图像编辑的"深水区"。

为什么难？

妆容细节多（眉毛、眼影、口红、腮红、高光）
风格差异大（欧美妆 vs 日韩妆 vs 中式妆）
肤色适配难（黄皮、白皮、橄榄皮效果不同）

FireRed-Image-Edit-1.1 的解决方案：专业美妆 LoRA 模型。

官方发布了专门的美妆 LoRA，支持数十种妆容风格：

欧美 Y2K 妆：冷白皮哑光粉底、深棕色挑眉、银灰眼影、镜面玻璃唇釉
缎光底妆：自然色缎光粉底、浅棕眉粉、深棕眼影、水润感豆沙色口红
万圣节女巫妆、创意妆容等

这种"专业级"美妆编辑，在开源模型里还是第一次见到。

05 技术路线对比：FireRed vs Qwen

两家技术路线有什么差异？

FireRed-Image-Edit-1.1

训练数据：1.6B 样本（900M T2I + 700M 编辑对）

训练流程：

Pretrain - 预训练阶段，建立基础生成能力
SFT - 有监督微调，注入编辑能力
RL - 强化学习，优化身份一致性和指令遵循

关键技术：

Multi-Condition Aware Bucket Sampler（多条件感知采样器）
Asymmetric Gradient Optimization for DPO（非对称梯度优化）
DiffusionNFT with layout-aware OCR rewards（布局感知 OCR 奖励）
Consistency Loss for identity preservation（身份一致性损失函数）

Qwen-Image-Edit-2511

训练数据：未公开

训练流程：基于 Qwen-Image-2512 的 MMDiT 架构

关键技术：

MMDiT（多模态扩散 Transformer）
原生中文文字渲染
与 Qwen-Image-2512 统一架构

对比结论：

FireRed 在训练数据规模和技术细节上更透明，Qwen 在架构统一性和中文文字渲染上有优势。

06 工程优化：4.5 秒/张，30GB 显存

光有精度不够，工程落地才是关键。

FireRed-Image-Edit-1.1 的工程优化做得相当到位：

推理速度：4.5 秒/张（优化后）基于 1.0 版本数据
显存要求：30GB（优化后）基于 1.0 版本数据
加速方案：蒸馏、量化、静态编译全套支持

对比 Qwen-Image-Edit-2511：

需要查证具体显存和速度数据
但有 LightX2V 为 Qwen 提供 42.55 倍加速支持

结论：FireRed-1.1 在工程优化上更成熟，Qwen 有加速方案但需要额外配置。

07 开源生态：Apache 2.0 完全开放

两家都采用 Apache 2.0 许可证，这意味着：

✅ 可商业使用

✅ 可修改代码

✅ 可分发

✅ 无需开源衍生作品

FireRed-Image-Edit-1.1 生态：

GitHub Stars：600+（截至 2026.03.03）
HuggingFace：已发布
ModelScope：已发布
ComfyUI：官方节点支持
技术报告：arXiv:2602.13344

Qwen-Image-Edit-2511 生态：

GitHub Stars：需查证
HuggingFace：已发布
ModelScope：已发布
ComfyUI：社区支持
技术报告：需查证

结论：FireRed 生态更新，Qwen 生态更成熟。

08 总结：SOTA 易主，但竞争才刚开始

FireRed-Image-Edit-1.1 的发布，确实刷新了开源图像编辑的 SOTA。

5 项 Benchmark 全面领先，身份一致性、多元素融合、人像美妆三大能力达到新高度。

但这只是开始。

阿里 Qwen 团队已经在 12 月发布了 2511 版本，小红书 3 月发布 1.1 版本，开源图像编辑领域的"军备竞赛"才刚刚打响。

接下来可以期待：

Qwen 会不会发布 2603 版本反击？
FireRed 会不会继续迭代 1.2、1.3？
其他团队（Stability、Midjourney 开源版）会不会加入战局？

开源图像编辑的 SOTA 之争，好戏还在后头。

你怎么看 FireRed vs Qwen 的这场 SOTA 争夺战？

欢迎在评论区留言，一起讨论开源图像编辑的未来。

阿里开源 Qwen3.5-9B：9B 参数干翻 120B，小模型的 SOTA 时刻

Garyvov — Tue, 10 Mar 2026 02:11:11 +0000

阿里开源 Qwen3.5-9B：9B 参数干翻 120B，小模型的 SOTA 时刻

2026 年 3 月 2 日，阿里开源了 Qwen3.5 小尺寸模型系列。9B 版本在 GPQA Diamond 拿到 81.7 分。超过 OpenAI 的 GPT-OSS-120B（71.5 分）。13.5 倍参数差距，小模型赢了。

Apache 2.0 协议，代码和权重都能商用。一行 Ollama 命令就能跑，标准笔记本就能部署。

Figure 1: Qwen3.5 小尺寸模型性能对比（来源：GitHub README）

一、Qwen3.5 小尺寸模型系列

2026 年 3 月 2 日，阿里千问团队开源了 4 款 Qwen3.5 小尺寸模型：Qwen3.5-0.8B、2B、4B、9B。

这不是"缩小版"。这一系列采用原生多模态训练，最新的模型架构。

Figure 2: Qwen3.5 中尺寸模型性能（来源：GitHub README）

各型号定位：

型号	定位	特点	适用场景
0.8B/2B	端侧首选	体积极小，推理极快	移动设备、IoT、实时交互
4B	轻量级 Agent	多模态基座	智能体核心
9B	紧凑尺寸，越级性能	媲美 120B	服务器端，显存受限

0.8B 和 2B 适合移动设备、IoT 边缘设备部署。4B 适合轻量级智能体。9B 适合服务器端部署，性价比极高。

二、9B vs 120B：榜单数据

GPQA Diamond 基准测试数据：

模型	GPQA Diamond	参数量	方案类型
Qwen3.5-9B	81.7	9B	端到端
GPT-OSS-120B	71.5	120B	端到端

9B 比 120B 高出 10.2 分。

VentureBeat 的报道标题很直接："Alibaba's small, open source Qwen3.5-9B beats OpenAI's gpt-oss-120B and can run on standard laptops"。

"can run on standard laptops"是什么意思？9B 模型，显存占用大约 4-5GB。RTX 3090、A10，甚至高端笔记本的 GPU 都能跑。不需要 A100、H100 这种数据中心级别的显卡。

以前想跑 120B 模型，至少需要 8 张 A100。现在 9B 模型，单卡就能搞定。成本差距是数量级的。

三、技术亮点：为什么小模型能赢？

Qwen3.5 不是"蒸馏"或"剪枝"。有几个技术突破：

1. 统一视觉 - 语言基础

早期融合训练，数万亿多模态 token。Qwen3.5 在推理、编码、agent 能力和多模态理解上都超过了 Qwen3-VL 模型。

Figure 3: Qwen3.5 旗舰模型性能对比（来源：GitHub README）

2. 高效混合架构

Gated Delta Networks 结合稀疏 MoE（Mixture-of-Experts）。高吞吐推理，低延迟。

Qwen3.5-397B-A17B 总参数 397B，每次前向传播只激活 17B。Qwen3.5-9B 没公开 MoE 配置，但继承了同样的架构理念。

3. 可扩展的 RL 泛化

百万级 agent 环境中规模化强化学习。不是针对特定 benchmark 的优化，而是真实世界的适应力。

4. 全球语言覆盖

从 119 种语言扩展到 201 种。词汇表从 150k 扩展到 250k，编码/解码效率提升 10-60%。

四、实战：一行命令部署

部署 Qwen3.5-9B 有多简单？Ollama 一行命令：

ollama run qwen3.5:9b

就这么简单。

用 transformers：

from transformers import Qwen3VLForConditionalGeneration, AutoProcessor

model = Qwen3VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen3.5-9B",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen3.5-9B")

显存占用：

bfloat16 精度：约 4-5GB
int8 量化：约 2-3GB
int4 量化：约 1-2GB

推理速度（单卡 RTX 3090）：

生成速度：约 30-50 tokens/秒
首 token 延迟：<100ms

对比 120B 模型：

显存占用：约 240GB（bfloat16）
需要：8 张 A100（每张 80GB）
推理速度：约 5-10 tokens/秒

差距很明显。

五、选型指南：0.8B/2B/4B/9B 怎么选？

需求	推荐型号	理由
移动设备部署	0.8B/2B	体积极小，推理极快
IoT 边缘设备	0.8B/2B	低资源消耗
轻量级 Agent	4B	性能与资源平衡
服务器端通用	9B	性价比最高
显存 <4GB	0.8B/2B	最低资源需求
显存 4-8GB	4B/9B	中等资源需求
追求极致性能	9B	接近 120B 的性能

建议：

显存充足（≥8GB），直接上 9B
移动端开发，选 2B
Agent 开发，4B 是甜点区

六、结论：小尺寸模型的时代

Qwen3.5-9B 开源，标志新趋势：小尺寸模型不再是"妥协"，而是"选择"。

以前认为，性能=参数。9B 超过 120B 的事实告诉我们：架构优化 > 堆参数。

这对开发者是好事。以前只能云 API 调用，现在可以本地部署。以前担心数据隐私，现在可以完全离线运行。以前成本太高，现在单卡就能搞定。

资源链接：

GitHub：https://github.com/QwenLM/Qwen3.5
ModelScope：https://modelscope.cn/collections/Qwen/Qwen35
HuggingFace：https://huggingface.co/collections/Qwen/qwen35
官方博客：https://qwen.ai/blog?id=qwen3.5
Qwen Chat：https://chat.qwen.ai

数据来源：

GitHub README（QwenLM/Qwen3.5）
VentureBeat 报道（2026-03-02）
阿里官方博客（qwen.ai）
GPQA Diamond 官方榜单

Claude Code New Feature: /loop - Let AI Work for You 24/7

Garyvov — Mon, 09 Mar 2026 15:54:13 +0000

Claude Code New Feature: /loop - Let AI Work for You 24/7

1. New Feature Launched on March 7th

Claude Code now has a built-in /loop command - a session-scoped task scheduler.

What it can do:

Automatically repeat prompts
Monitor project status in background
Set one-time reminders

Examples:

/loop 10m check if deployment finished
/loop every morning at 9:00 summarize my Slack mentions
remind me at 3pm to push the release branch

2. How to Use

Three Syntax Styles

Prefix interval:

/loop 5m check the build

Suffix with "every":

/loop check the build every 2 hours

No interval (defaults to 10 minutes):

/loop babysit all my PRs

Time Units

s seconds (rounds up to minutes)
m minutes
h hours
d days

One-time Reminders

remind me at 3pm to push the release branch
in 45 minutes, check whether the tests passed

3. Managing Tasks

View tasks:

what scheduled tasks do I have?

Cancel tasks:

cancel the deploy check job
cancel task abc12345

Maximum 50 tasks per session.

4. Real-World Use Cases

Deployment monitoring:

/loop 10m check deployment status and alert on errors

Auto-fix PRs:

/loop babysit all my PRs. When builds fail auto-fix

Daily morning briefing:

/loop every morning at 9:05 use Slack MCP to summarize mentions

CI checks:

/loop 15m check main branch CI, notify if red

Loop commands:

/loop 20m /review-pr 1234

5. How It Works

Timezone: Uses local timezone, not UTC. 0 9 * * * means 9am local time.

Time jitter:

Loop tasks delayed up to 10% (max 15 minutes)
On-the-hour reminders may fire up to 90 seconds early

Pro tip: Use 9:07 instead of 9:00 to avoid conflicts.

Execution timing: Runs when Claude is idle, won't interrupt current responses.

6. Limitations

Session-scoped: Tasks disappear when you close the terminal, not saved to disk.

3-day expiry: Auto-deleted after 72 hours, runs one final time before deletion.

No catch-up: Missed tasks won't run retroactively, only waits for next scheduled time.

Production use: For long-term tasks, use Desktop Scheduled Tasks or GitHub Actions.

7. Getting Started

Update Claude Code: https://code.claude.com

Try it:

/loop 10m check if main branch build is green

Check status:

what scheduled tasks do I have?

8. Summary

/loop transforms AI from passive responder to active worker.

Good for: Short-term monitoring, development debugging, temporary tasks.

Not for: Long-term unattended operations, production environments, tasks requiring persistence.

Official docs: https://code.claude.com/docs/en/scheduled-tasks

End of article

Claude Code 新功能：/loop 让 AI 自动帮你"值班"

Garyvov — Mon, 09 Mar 2026 15:52:24 +0000

Claude Code 新功能：/loop 让 AI 自动帮你"值班"

一、3月7日上线的新功能

Claude Code 内置了 /loop 命令，会话内的定时任务调度器。

能干什么：

自动重复执行提示词
后台监控项目状态
设置一次性提醒

举个例子：

/loop 10m check if deployment finished
/loop every morning at 9:00 summarize my Slack mentions
remind me at 3pm to push the release branch

二、怎么用

三种写法

前置间隔：

/loop 5m check the build

后置 every：

/loop check the build every 2 hours

不写间隔（默认10分钟）：

/loop babysit all my PRs

时间单位

s 秒（会向上取整到分钟）
m 分钟
h 小时
d 天

一次性提醒

remind me at 3pm to push the release branch
in 45 minutes, check whether the tests passed

三、管理任务

查看：

what scheduled tasks do I have?

取消：

cancel the deploy check job
cancel task abc12345

每个会话最多 50 个任务。

四、实际场景

部署监控：

/loop 10m check deployment status and alert on errors

PR 自动修复：

/loop babysit all my PRs. When builds fail auto-fix

每日晨报：

/loop every morning at 9:05 use Slack MCP to summarize mentions

CI 检查：

/loop 15m check main branch CI, notify if red

循环执行命令：

/loop 20m /review-pr 1234

五、工作原理

时区：用本地时区，不是 UTC。0 9 * * * 就是本地早上9点。

时间抖动：

循环任务延迟最多 10%（上限15分钟）
整点提醒可能提前90秒

避坑：用 9:07 别用 9:00。

执行时机：Claude 空闲时执行，不打断当前回复。

六、限制

会话级别：关闭终端任务就没了，不会保存到磁盘。

3天过期：创建后72小时自动删除，删除前最后执行一次。

无补偿：错过的不会补跑，只等下一次。

生产环境：长期任务用 Desktop Scheduled Tasks 或 GitHub Actions。

七、开始用

更新 Claude Code：https://code.claude.com

试试：

/loop 10m check if main branch build is green

查看：

what scheduled tasks do I have?

八、总结

/loop 让 AI 从被动回答变成主动干活。

适合短期监控、开发调试、临时任务。

不适合长期无人值守、生产环境、需要持久化的任务。

官方文档：https://code.claude.com/docs/en/scheduled-tasks

本文完

Xiaohongshu's FireRed-Image-Edit-1.1 Tops Charts at Launch! 7.94 Score Beats Alibaba's Qwen-Image-Edit-2511

Garyvov — Sun, 08 Mar 2026 15:51:02 +0000

Xiaohongshu's FireRed-Image-Edit-1.1 Tops Charts at Launch! 7.94 Score Beats Alibaba's Qwen-Image-Edit-2511

Open-source image editing has a new SOTA champion.

TL;DR: Xiaohongshu released FireRed-Image-Edit-1.1 on March 3rd, surpassing Alibaba's Qwen-Image-Edit-2511 (released in December) across 5 authoritative benchmarks with a score of 7.943, setting a new record for open-source image editing models. Achieves SOTA-level performance in identity consistency, multi-element fusion, and portrait makeup.

01 The Battle for Open-Source Image Editing SOTA

2026 has been a year of fierce competition in image editing.

On December 23rd, Alibaba's Qwen team released Qwen-Image-Edit-2511, scoring 7.877 (GEdit-EN) to claim the top spot in open-source rankings.

Just 2 months later, Xiaohongshu delivered a surprise.

On March 3rd, Xiaohongshu's foundation model team released FireRed-Image-Edit-1.1, scoring 7.943 to set a new record.

Even more impressive: FireRed-Image-Edit-1.1 leads across all 5 authoritative benchmarks without a single loss:

Metric	FireRed-1.1	Qwen-2511	Lead
GEdit (EN)	7.943	7.877	+0.066
GEdit (CN)	7.887	7.819	+0.068
ImgEdit	4.56	4.51	+0.05
REDEdit (EN)	4.26	4.23	+0.03
REDEdit (CN)	4.33	4.18	+0.15

Honestly, this lead is quite significant at the SOTA level. Especially the 0.15-point lead in Chinese REDEdit, indicating FireRed's advantage in Chinese scene understanding.

02 Identity Consistency: Best-in-Class Portrait Editing

What's the biggest headache in image editing? People's faces change when you edit them.

You change the clothes in a photo, and the face shape changes; change the background, and the facial features change too. This "edit-equals-deformation" problem has always been a pain point for image editing models.

FireRed-Image-Edit-1.1's solution is straightforward: SOTA-level identity consistency.

FireRed-1.1 scores 4.33 (Chinese) and 4.26 (English) on the REDEdit-Bench benchmark, claiming the open-source top spot. This comprehensive score includes identity consistency, instruction following, visual quality, and more.

What does this mean?

Changing clothes: Excellent identity preservation
Changing backgrounds: Complete retention of facial details
Adding accessories: Original features not overwritten

Compared to Qwen-Image-Edit-2511's 4.18 (Chinese), FireRed-1.1 indeed excels in identity preservation.

03 Agent Intelligence: 10+ Elements Auto-Fusion

Consider this complex editing instruction:

"Place the man from image 2, wearing the black 'New York Bears' baseball jacket and camouflage pants and blue-black AJ1 high-top sneakers from image 2, on the spacious football field from image 1. The field is sunny, he's wearing the black cap from image 2 with a red brim... casually carrying the vintage brown leather travel bag from image 3 on his left shoulder... and easily dragging the white skateboard from image 3 with his right hand..."

How do traditional models handle such complex edits with 10+ elements?

The harsh answer: Segmented processing, multiple iterations, manual stitching—inefficient with poor results.

FireRed-Image-Edit-1.1's approach is smarter: Agent auto-processing.

The built-in Agent module automatically completes three steps:

ROI Detection - Calls Gemini function-calling model to identify key regions in each image
Crop & Stitch - Automatically crops and stitches into 2-3 composite images (~1024×1024)
Instruction Rewriting - Automatically rewrites user instructions to ensure correct image references

The entire process requires no manual intervention—complex edits completed with one click.

Compared to Qwen-Image-Edit-2511 (supports multiple inputs), FireRed-1.1's Agent solution is clearly more intelligent.

04 Professional Makeup: Dozens of Makeup Styles

Makeup editing has always been the "deep end" of image editing.

Why is it difficult?

Many makeup details (eyebrows, eyeshadow, lipstick, blush, highlights)
Large style differences (Western makeup vs Japanese/Korean makeup vs Chinese makeup)
Difficult skin tone adaptation (yellow skin, white skin, olive skin have different effects)

FireRed-Image-Edit-1.1's solution: Professional makeup LoRA models.

The official release includes specialized makeup LoRAs supporting dozens of makeup styles:

Western Y2K Makeup: Cool-toned matte foundation, deep brown arched brows, silver-gray eyeshadow, mirror-finish glass lip gloss
Satin Finish Base: Natural satin foundation, light brown brow powder, deep brown eyeshadow, moisturizing bean paste lipstick
Halloween Witch Makeup, Creative Makeup, etc.

This "professional-grade" makeup editing is the first of its kind in open-source models.

05 Technical Approach Comparison: FireRed vs Qwen

What are the differences in technical approaches?

FireRed-Image-Edit-1.1

Training Data: 1.6B samples (900M T2I + 700M editing pairs)

Training Pipeline:

Pretrain - Pre-training phase, establishing basic generation capabilities
SFT - Supervised fine-tuning, injecting editing capabilities
RL - Reinforcement learning, optimizing identity consistency and instruction following

Key Technologies:

Multi-Condition Aware Bucket Sampler
Asymmetric Gradient Optimization for DPO
DiffusionNFT with layout-aware OCR rewards
Consistency Loss for identity preservation

Qwen-Image-Edit-2511

Training Data: Not disclosed

Training Pipeline: Based on Qwen-Image-2512's MMDiT architecture

Key Technologies:

MMDiT (Multimodal Diffusion Transformer)
Native Chinese text rendering
Unified architecture with Qwen-Image-2512

Comparison Conclusion:

FireRed is more transparent in training data scale and technical details, while Qwen has advantages in architecture unification and Chinese text rendering.

06 Engineering Optimization: 4.5s/Image, 30GB VRAM

Accuracy alone isn't enough—engineering deployment is key.

FireRed-Image-Edit-1.1's engineering optimization is quite solid:

Inference Speed: 4.5s/image (optimized) based on v1.0 data
VRAM Requirement: 30GB (optimized) based on v1.0 data
Acceleration: Full support for distillation, quantization, static compilation

Compared to Qwen-Image-Edit-2511:

Specific VRAM and speed data needs verification
Has LightX2V providing 42.55x acceleration support for Qwen

Conclusion: FireRed-1.1 is more mature in engineering optimization; Qwen has acceleration solutions but requires additional configuration.

07 Open-Source Ecosystem: Fully Open Apache 2.0

Both use Apache 2.0 license, meaning:

✅ Commercial use allowed

✅ Code modification allowed

✅ Distribution allowed

✅ No requirement to open-source derivative works

FireRed-Image-Edit-1.1 Ecosystem:

GitHub Stars: 600+ (as of 2026.03.03)
HuggingFace: Released
ModelScope: Released
ComfyUI: Official node support
Technical Report: arXiv:2602.13344

Qwen-Image-Edit-2511 Ecosystem:

GitHub Stars: Needs verification
HuggingFace: Released
ModelScope: Released
ComfyUI: Community support
Technical Report: Needs verification

Conclusion: FireRed ecosystem is newer, Qwen ecosystem is more mature.

08 Summary: SOTA Changes Hands, But Competition Just Began

The release of FireRed-Image-Edit-1.1 has indeed set a new SOTA for open-source image editing.

Leading across all 5 benchmarks, achieving new heights in identity consistency, multi-element fusion, and portrait makeup.

But this is just the beginning.

Alibaba's Qwen team released version 2511 in December, Xiaohongshu released version 1.1 in March—the "arms race" in open-source image editing has just begun.

What to expect next:

Will Qwen release a 2603 version to counter?
Will FireRed continue iterating with 1.2, 1.3?
Will other teams (Stability, Midjourney open-source) join the battle?

The SOTA battle in open-source image editing—the best is yet to come.

What's your take on the FireRed vs Qwen SOTA battle?

Feel free to comment and discuss the future of open-source image editing.

DEV Community: Garyvov

Mistral Small 4：开源 AI 的三合一革命

Mistral Small 4：开源 AI 的三合一革命

一句话讲清楚

核心亮点

1. 可配置的推理强度

2. 架构参数

3. 性能提升

部署成本

最小配置

推荐配置

应用场景

开发者

企业

研究人员

如何获取

1. Hugging Face

2. NVIDIA Build

3. Mistral AI Studio

4. NVIDIA NIM

为什么重要？

技术细节

推理效率对比

未来展望

总结

Nemotron-3-Super-120B-A12B：英伟达 MoE 架构的暴力美学

Nemotron-3-Super-120B-A12B：英伟达 MoE 架构的暴力美学

引言

架构设计：A12B 的核心突破

MoE 架构的演进

A12B 的设计哲学

技术实现细节

路由机制

专家设计

通信优化

性能评估

推理效率

准确性表现

训练效率

开源意义

对研究社区的价值

对工业界的影响

生态建设

技术对比

与 Llama 3 70B 对比

与 Qwen2.5 14B 对比

应用前景

企业级应用

研究工具

教育领域

结论

Fish Audio S2-Pro：用自然语言控制语音情感的 TTS 模型

自然语言控制

训练数据

基准测试

Dual-AR 架构

强化学习对齐

生产推理

实用功能

开源内容

快速开始

安装

命令行

WebUI

Docker

SGLang 服务器

Fish Audio S2-Pro: A TTS Model with Emotion in Speech Controlled with Natural Language

Natural Language Control

Training Data

Benchmarks

Dual-AR Architecture

Reinforcement Learning Alignment

Production Inference

Practical Features

Open Source Content

Quick Start

Installation

Command Line

WebUI

Docker