竞品调研:豆包工作、剪映 AI 助手,与「AI 操作剪辑软件」这条赛道
调研日期:2026-09-12 · 全部基于公开资料,每条结论带来源;查不到的明确写「未查到」,不编造。
一句话结论:2026 年没有任何一家有源码的剪辑厂商让 AI 去点自家界面,也没有一家主流剪辑产品抛弃时间线。「豆包工作遥控剪映剪视频」目前没有官方证据。真正值得盯的是剪映内置的 AI 助手,它在时间线上帮你粗剪,最后仍把你送回时间线。
一、豆包工作是什么
| 项目 | 事实 | 来源 |
|---|---|---|
| 品牌与时间 | 2026-08-25 独立发布「豆包工作」品牌,TRAE、扣子团队整体并入豆包体系。此前 6 月已有「工作任务」模式。 | 财新 2026-08-25、Bloomberg 2026-08-24、新京报 2026-09-04 |
| 定位 | 通用办公 agent,对标腾讯 WorkBuddy、阿里 QoderWork。不是剪辑产品。 | 财新、东方财富 2026-08-25 |
| 覆盖端 | Windows 最全,独占「虚拟桌面」隔离执行;Mac 2026-09-02 才补上本地操作电脑;iOS / Android 的豆包 App 只是下指令、看结果的遥控端,手机本身不执行 GUI 操作。 | IT之家 2026-09-02、科技日报 2026-08-19 |
| 操作电脑的实现 | 纯视觉 GUI 操作。官方口径「无需依赖 MCP、API、插件或 CLI」,靠多模态模型实时解析屏幕像素,模拟鼠标键盘。另有内置浏览器自动化和飞书 / 钉钉 / 企微 / 腾讯会议连接器。 | 新京报 2026-09-04、新浪财经 2026-08-21 |
| 底层模型 | 豆包 2.1 系列。GUI 层是否为 UI-TARS 血统专用模型,无官方确认,属合理推断。 | 新浪财经 2026-06-23;53AI 2026-07-16(第三方分析) |
| 定价 | 豆包专业版三档:68 / 200 / 500 元每月。豆包工作发布时给新用户 30 天免费,未公布独立定价。 | IT之家、证券时报 2026-06-24 |
| 开放性 | 完全封闭,不支持外接任何模型;IM 只接飞书,微信通知无法跨应用发送。 | 腾讯新闻 2026-07-14 三家横评 |
| 评测口碑 | 「嘴替能力尚可,手替能力还不太行」。复杂界面识别偶有偏差,会把按钮名字编出来;额度消耗「像开盲盒」;同一台电脑不能同时跑多个 GUI 任务。 | 新浪财经 2026-08-21、人人都是产品经理 2026-08-25、什么值得买 2026-07-28 |
| 「操作手机」 | 是另一条产品线「豆包手机助手」(2025-12-24 发布),走 ROM 层无障碍权限 + 视觉模型,绑定定制机型(努比亚 NaviX Ultra 2026-09 上市)。2026-01 马化腾公开批评其「把屏幕录屏传到云端极其不安全」。现有实测无任何操作剪映或视频类 App 的记录。 | 腾讯云社区 2025-12-24、21财经 2026-01-28、搜狐 2026-09-01 |
二、「豆包工作遥控剪映剪视频」:证据不足,存疑
查遍字节官方公告、IT之家、科技日报、新浪、网易、财新、腾讯新闻、人人都是产品经理、知乎、B 站、Bloomberg,没有任何官方演示或主流媒体报道提到豆包工作操作剪映。
该说法只能追溯到两个低权重个人站点(tanqingbo.cn 2026-09-02、crazyowen.cn 教程站),措辞高度雷同,疑似同源转载,无录屏、无一手复现。搜索引擎曾把「剪映」段落错误归到 AI工具集的豆包工作评测,打开原文逐段核对,该文没有任何剪映内容。
反向证据:什么值得买 2026-07-28 实测明确写「大型复杂视频渲染不支持」。
按那两个二手来源的描述,流程是:用户说出素材目录和「剪一段 30 秒版本」,豆包自己打开剪映桌面版、导入、识别高光、加转场、导出,全程在虚拟桌面里跑,跑通后可沉淀成一个技能。实现层面是逐步点 GUI,不是调剪映草稿文件或私有 API,这与官方「不依赖接口」的表述自洽。耗时、成功率、翻车案例、能否多条批量切分:全部未查到。
要坐实这件事,唯一可靠办法是在一台 Windows 机上装最新豆包电脑版,开 30 天试用,进「工作任务」选「本地电脑」,下一条剪映指令全程录屏。
三、真正的对手:剪映内置 AI 助手
剪映在 2026 年 4 月前后上线了自己的 Skill 化 Agent「剪映 AI 助手」。这是剪映内部的功能,不是外部 agent 去点剪映。
- 形态:主 Agent 理解意图后分发给领域专家 Agent,「把视频调亮一点」被映射到具体的亮度参数轨道。腾讯新闻原话:「不是扔给你一个无法修改的成品视频,而是直接在你的剪辑轨道上进行操作」。
- 交互:按住视频说一句「把所有说了脏话的地方剪掉」,十几秒完成;十几条素材说一句「剪个 Vlog」能自动编排。字幕转写、翻译、双语排版准确度不错。
- 能力边界(独立博主 2026-05-23 实测、08-30 更新):「像电影那种细致到帧的剪切感它现在肯定做不到」,当前阶段适合粗剪;文字成片「精致程度差了点」。
- 交付:可修改的工程文件,时间线完整保留,精细修改仍由人回时间线完成。
- 开放性:未查到字节开放任何官方 API、MCP 或草稿协议。外部 agent 接剪映只有逆向本地草稿文件一条路。最常被引用的逆向项目 CapCutAPI 已于 2026-08-20 归档;仍存活的 capcut-cli 声明「非官方、不受背书」,且在 MCP 层只提供只读工具。
四、赛道数据:通用 agent 操作剪辑软件到底行不行
没有任何署名的、可复现的「用 Codex / Claude / Manus / UI-TARS 操作 Premiere / FCPX / 达芬奇 / 剪映」实测报告。最接近的权威证据是基准测试。
| 指标 | 数值 | 来源 |
|---|---|---|
| OSWorld 2.0 含视频剪辑软件(Shotcut)的长程任务,最强模型完成率 | 20.6%(Claude Opus 4.8,max thinking),GPT-5.5 约 13% 且已平台期 | arXiv:2606.29537,2026-06-28 |
| 平均每任务步数 / 人类中位耗时 | 318 步 / 约 1.6 小时 | 同上 |
| 人类觉得「简单」但 agent 觉得难的任务占比 | 44.4%,原因是感知-动作时序与多模态验证 | 同上 |
| 跑 10 次至少 1 次成功 vs 10 次全对 | Pass@10 约 78%,Pass^10 约 36%(GPT-5 + Agent S3) | arXiv:2604.17849,2026-04-20 |
| 纯装饰性界面改动的影响 | Claude 出现显著回归,净 20 个任务由对变错 | 同上 |
| 每个动作推理耗时 / 每张截图 token | 2 到 5 秒 / 超过 15000 token | Zylos Research 2026-02-08 |
| OSWorld 1.0 短任务成绩(对照) | 83.5%(Opus 4.8)。1.0 与 2.0 的差距就是任务长度和是否涉及创意软件 | 见 arXiv:2606.29537 讨论 |
OSWorld 2.0 归纳的六类失败模式逐条命中剪辑场景:跨应用状态追踪、流式界面下的感知-动作时序差(对着播放中的时间线做操作)、领域专有文件的解读、有可见错误却跳过验证、长程任务状态丢失、失败了自己不知道导致级联错误。
五、厂商在剪辑场景的实际选边
这一组比任何评论都有说服力,因为都是已发布的产品决策。
| 主体 | 选择 | 含义 |
|---|---|---|
| Adobe Premiere | AI Assistant 2026-06-18 公测,调用 Premiere 内部工具,写入撤销历史;「如果它做不到,它会告诉你」。需上传素材到云,NDA 项目不可用。 | 拥有源码的厂商不让 agent 点自己的 UI,并且明示能力边界 |
| Apple Final Cut Pro | Creator Studio 2026-06 更新,字幕、剪辑检测、自动遮罩全部端上推理,直接落到时间线。定位「加速你已经在做的事」。 | 不做 agent 层,做原生能力;明确走端侧 |
| 字节剪映 | 主 Agent 分发给领域专家 Agent,映射到参数轨道 | 同样是内部调用,不是 computer use |
| Descript | Season 6 的 Underlord 助手可一句话「去口水词、收紧节奏、切 3 条社媒短片」,但仍保留场景式时间线画布 | 文本驱动的先行者也没抛弃时间线 |
| Jumper(第三方 MCP) | 给 Premiere、达芬奇、FCPX、Avid 做本地 MCP server,但只暴露检索与导出,agent 只拿到元数据 | 无源码的第三方主动把「写时间线」排除在外 |
| Project Mariner 2026-05-04 停止,能力并入 Gemini API | 纯 computer use 产品线收缩 | |
| capcut-cli | 最成熟的剪映逆向项目,MCP 层只给只读 | 连逆向派也不信任 agent 写工程文件 |
学界口径与此一致:「普适性伴随脆弱性」(arXiv:2501.16150 原话),主张软件应 agent-native 化,走结构化接口而非人面 GUI;工程界共识是混合架构,纯视觉方案延迟高、token 贵。
六、与爱剪逐项对比
| 维度 | 豆包工作遥控剪映 | 剪映 AI 助手 | 爱剪 |
|---|---|---|---|
| 剪辑发生在哪 | 剪映时间线上,agent 替你点鼠标 | 剪映时间线上,内部 Skill 写轨道 | 没有时间线,句子级剪辑计划 |
| 修改方式 | 再下一次指令,重跑一遍 GUI | 对话改,落回轨道,精修回时间线 | 对话出新版本,随时回退 |
| 先出方案再执行 | 无 | 无 | 编导先给方案,你放行,剪完自查 |
| 视频去哪 | 本机,但屏幕截图流经豆包云端 | AI 功能走云端 | 不出设备 |
| 模型 | 封闭,只有豆包 | 封闭,只有豆包 | DeepSeek、MiniMax、豆包,任选任换 |
| 精度 | 无实测数据 | 粗剪可用,帧级做不到(实测者原话) | 词边界 + 停顿吸附,切点误差阈值 50 毫秒 |
| 可靠性 | 通用 computer use 数据:十次全对约 36% | 未查到量化 | 计划先过确定性校验,失败自动重试 |
| 成本 | 68 元起月费,按步烧额度 | 会员 | 一小时视频几毛钱模型费 |
七、明确未查到的项
- 豆包工作操作剪映的任何官方演示、录屏或主流媒体报道。
- 剪映剪辑任务的耗时、成功率、翻车案例、多条批量切分能力。
- 豆包工作 GUI 层具体使用的模型;Mac 端是否有虚拟桌面隔离。
- 字节官方的剪映 API / MCP / 开放平台,以及对第三方读写草稿文件的表态。
- 任何署名的 computer use agent 操作专业剪辑软件的实测报告。
- 秒剪、通义在 2026 年的对话式剪辑能力。
两类来源判定不可采信并已排除:chatcut.io 自称「唯一 agentic 编辑器」的自家博客;CSDN 上标榜「5 款实测」却无任何数据的鲸剪 WhaleClip 软文。
八、主要来源
- 财新 2026-08-25 https://companies.caixin.com/2026-08-25/102477701.html
- Bloomberg 2026-08-24 https://www.bloomberg.com/news/articles/2026-08-24/bytedance-folds-ai-tools-into-doubao-super-app-to-fight-tencent
- 新京报 2026-09-04 https://www.bjnews.com.cn/detail/1788503487129181.html
- IT之家 2026-09-02 https://www.ithome.com/0/997/506.htm
- 科技日报 2026-08-17 https://www.stdaily.com/web/gdxw/2026-08/17/content_565240.html
- 科技日报 2026-08-19 https://www.stdaily.com/web/gdxw/2026-08/19/content_566443.html
- 新浪财经 2026-08-21 https://finance.sina.com.cn/jjxw/2026-08-21/doc-inipakum6501628.shtml
- 腾讯新闻 2026-07-14 三家桌面 Agent 横评 https://news.qq.com/rain/a/20260714A04UGH00
- 腾讯新闻 2026-08-25 https://news.qq.com/rain/a/20260825A0C68200
- 人人都是产品经理 2026-08-25 https://www.woshipm.com/ai/6453952.html
- 什么值得买 2026-07-28 https://post.smzdm.com/p/am9mvnzz/
- 21财经 2026-01-28 https://m.21jingji.com/article/20260128/herald/f1590cbff5f7f132dfc6e40fc752af93.html
- 53AI 2026-07-16 https://www.53ai.com/news/zhinengyingjian/2026071654238.html
- 腾讯新闻 2026-04-27 剪映 AI 助手 https://news.qq.com/rain/a/20260427A051JG00
- 剪映 Agent 深度体验 2026-05-23 https://ncepuee.github.io/2026/05/23/CapCut-AI-Agent-Auto-Editing-2026/
- capcut-cli https://github.com/renezander030/capcut-cli ;CapCutAPI(已归档)https://github.com/fancyboi999/capcut-mcp
- OSWorld 2.0,arXiv:2606.29537 https://arxiv.org/html/2606.29537v1
- On the Reliability of Computer Use Agents,arXiv:2604.17849 https://arxiv.org/html/2604.17849v1
- arXiv:2501.16150 https://arxiv.org/html/2501.16150v3
- Zylos Research 2026-02-08 https://zylos.ai/research/2026-02-08-computer-use-gui-agents/
- Descript Season 6 https://www.descript.com/blog/article/descript-season-6-meet-underlord
- Premiere AI Assistant,ProVideo Coalition https://www.provideocoalition.com/premiere-ai-assistant/
- Apple Newsroom 2026-06 https://www.apple.com/newsroom/2026/06/apple-creator-studio-gets-smarter-faster-and-more-connected/
- Jumper https://getjumper.io/ai-agents
- Project Mariner https://en.wikipedia.org/wiki/Project_Mariner
- 低权重、豆包遥控剪映说法的唯一出处:https://tanqingbo.cn/doubao-agent-guide/ ;https://www.crazyowen.cn/doubaowork/advanced/skills.html
豆包、剪映、TRAE、扣子、WorkBuddy、QoderWork、Premiere、Final Cut Pro、Descript、Codex、Claude、Manus 为各自公司商标。本页只汇总公开资料,不构成对任何产品的评级。