HITsz-TMG/VideoClaw

| 阶段 | 示意图 | 说明 | | ------------- | -------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------- | | 首页 | | 展示系统概览，支持查看历史项目、创建新项目以及全局配置（API Key 和默认模型设置），是创作流程的起点。 | | 剧本策划 | | 输入创意标题与项目梗概，系统自动生成结构化的多场次剧本（包含旁白与对话），并支持对后续剧情的智能续写。 | | 角色/场景设计 | | 基于剧本自动提取角色与场景的核心特征，生成风格统一的参考原画，作为后续分镜生成的视觉基础。 | | 分镜规划 | | 将每一场剧本拆解为连续的视觉分镜，详细制定镜头视角、动作描述及参考内容，确保叙事连贯性。 | | 参考图生成 | | 为每个分镜场次生成高质量、高精度的参考底图，控制光影细节与画面构图，作为视频生成的关键视觉基准。 | | 视频生成 | | 调用主流高性能视频生成模型（如 Wan、Kling 等）将分镜图转化为动态片段，支持首帧生视频、首尾帧生视频、参考图生视频三种方式。 | | 后期剪辑 | | 聚合所有生成的视频片段，最终一键导出可供发布的成片视频。 |

环境要求

• Python: 3.9+
• Node.js: 18+
• npm: 9+

后端配置

后端配置统一保存在 video-claw/backend/config.yaml，采用小写、层级化 YAML 结构。可直接编辑该文件，也可以在前端侧边栏底部进入「设置」页面修改。

• api_providers 保存各模型服务平台的密钥、接口地址和代理开关。
• models 保存主流程首页使用的默认模型。前端创建项目时会先读取这些默认值，再把具体模型参数传给后端；后端不会再为主流程自动兜底选择模型，缺少模型参数会直接报错。
• Pipeline（文艺短视频、动作迁移、数字人口播）不使用这里的主流程默认模型，需要在对应 Pipeline 页面单独选择模型。

前端设置页面

启动前后端后，可以在 Web 前端左侧边栏底部进入「设置」页面，无需手动编辑 YAML，也可以完成常用配置：

• 填写或更新 OpenAI、Gemini、DeepSeek、DashScope、火山方舟 ARK、Kling 等平台的 API Key / Access Key / Secret Key。
• 修改各 provider 的 base_url、enable_proxy，以及公共代理地址 api_providers.common.proxy。
• 选择主流程默认模型，包括 llm、vlm、image_t2i、image_it2i，以及首帧生视频、首尾帧生视频、参考图生视频三类视频模型。
• 在「视频生成配置」中设置主流程默认风格、视频长宽比、视频分辨率和视频生成方式；推荐默认使用 first_frame（首帧生视频），完成过多次测试，最稳定。
• 保存后会写回 backend/config.yaml。API Key、代理和默认模型会被后续新建项目读取；server.host、server.port 等服务启动参数需要重启后端后完全生效。

project_name: Video-Claw

server:
  host: 127.0.0.1
  port: 8000
  log_level: INFO
  access_log: false
api_providers:
  common:
    print_model_input: false
    proxy: ''
  openai:
    api_key: your_openai_key
    base_url: https://api.openai.com/v1
    enable_proxy: false
  gemini:
    api_key: your_gemini_key
    base_url: https://generativelanguage.googleapis.com/v1beta
    enable_proxy: false
  deepseek:
    api_key: your_deepseek_key
    base_url: https://api.deepseek.com/v1
    enable_proxy: false
  dashscope:
    api_key: your_dashscope_key
    base_url: https://dashscope.aliyuncs.com/api/v1
    enable_proxy: false
  ark:
    api_key: your_ark_key
    base_url: https://ark.cn-beijing.volces.com/api/v3
    enable_proxy: false
  kling:
    access_key: your_kling_access_key
    secret_key: your_kling_secret_key
    enable_proxy: false
models:
  llm: qwen3.5-plus
  vlm: qwen3.5-plus
  image_t2i: doubao-seedream-5-0-260128
  image_it2i: doubao-seedream-5-0-260128
  video: wan2.7-i2v
  video_first_frame: wan2.7-i2v
  video_start_end: wan2.7-i2v
  video_reference: wan2.7-r2v
generation:
  style: realistic
  video_ratio: '16:9'
  video_resolution: 720P
  video_generation_mode: first_frame

密钥与模型对应关系

| 平台 | 配置字段 | 常用用途 | | :--------------------: | :----------------------------------------------------------------- | :----------------------------------- | | OpenAI | api_providers.openai.api_key / base_url | GPT 文本、视觉模型和 OpenAI 图像模型 | | Gemini | api_providers.gemini.api_key / base_url | Gemini 文本、视觉模型 | | DeepSeek | api_providers.deepseek.api_key / base_url | DeepSeek 文本模型 | | DashScope | api_providers.dashscope.api_key / base_url | 通义千问、通义万相、Wan 图像/视频等 | | 火山方舟 ARK | api_providers.ark.api_key / base_url | Seedream 图像、Seedance 视频等 | | Kling | api_providers.kling.access_key / secret_key / base_url | 可灵视频生成 |

只需要填写你实际选择模型所需的平台密钥。例如主流程默认图像模型是 doubao-seedream- 时，需要配置 ark.api_key；默认视频模型是 wan 时，需要配置 dashscope.api_key。如果在 Pipeline 页面选择了不同模型，也要确保对应平台的密钥已经填写。

可用模型

| 类型 | 模型 | | :----------------: | :-------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | LLM | qwen3.6-max-preview, qwen3-max, deepseek-chat, deepseek-reasoner, deepseek-v4-flash, deepseek-v4-pro, gpt-4o, gpt-5, gpt-5.4, gemini-2.5-flash, gemini-2.0-flash, kimi-k2.6 | | VLM | qwen3.6-plus, qwen3.6-flash, kimi-k2.6, gpt-5.4, gemini-2.5-flash-image, gemini-2.0-flash | | 文生图 | wan2.7-image, wan2.7-image-pro, wan2.6-t2i, doubao-seedream-5.0/4.5/4.0, gpt-image-2 | | 图生图 | wan2.7-image, wan2.7-image-pro, doubao-seedream-5.0/4.5/4.0, gpt-image-2 | | 视频生成 | 首帧生视频：wan2.7-i2v, wan2.6-i2v-flash, doubao-seedance-2.0 (Normal/Fast), kling-v3/v2.6/v2.5；首尾帧生视频：wan2.7-i2v 等支持首尾帧输入的模型；参考图生视频：wan2.7-r2v 等支持参考图输入的模型。 |

模型信息以 video-claw/video-claw/backend/models/config_model.py 为准。前端和 Pipeline API 会根据模型能力标签筛选模型，例如文本生成、图像生成、图生视频、动作迁移、TTS 等。

📁 存储结构

video-claw/video-claw/backend/code/
├── data/
│   ├── tasks/                  # Pipeline 任务元数据 (JSON)
│   └── sessions/               # AIGC-Claw 会话元数据 (JSON)
└── result/
    ├── task/                   # Pipeline 生成产物 (按 Task ID 分类)
    │   └── <task_id>/          # e.g., 20260514_204946_961f95d9
    │       ├── audio_xx.mp3    # 分段音频
    │       ├── video_xx.mp4    # 分段视频
    │       ├── storyboard.json # 故事板数据
    │       └── final.mp4       # 最终合成视频
    ├── image/                  # AIGC-Claw 生成的图片
    │   └── <session_id>/       # 按会话 ID 分类
    │       ├── Assets/         # 角色与场景素材
    │       │   ├── characters/ # 角色参考图
    │       │   └── settings/   # 场景参考图
    │       └── Scenes/         # 生成的分镜参考图
    ├── video/                  # AIGC-Claw 生成的视频
    │   └── <session_id>/       # 按会话 ID 分类
    └── script/                 # AIGC-Claw 生成的剧本/分镜数据

🆔 标识说明

• Task ID: 格式为 YYYYMMDD_HHMMSS_随机Hash (例如 20260514_204946_961f95d9)，用于唯一标识一次 Pipeline 任务。
• Session ID: 毫秒级时间戳 (如 1778810088325)，用于关联主流程交互中的上下文数据与生成图片。