# 05 · 声音与音画节奏

> 知识截止 2026-09。声音是漫剧「沉浸感」的一半。线上工具（H3/即梦）原生音画同步；本地需自拼配音+口型。

---

## 一、配音（TTS / 语音克隆）

| 工具 | 特点 | 本地显存 |
|---|---|---|
| GPT-SoVITS | 5–20 条样本克隆声线，质量高 | CPU 可 |
| F5-TTS | 跨语言、自然 | 中 |
| Fish Speech / IndexTTS | 多语种、稳定 | 中 |
| 即梦/海螺原生 | 直接出，免后配 | 云端 |

- **声线设计**：主角/配角/旁白用不同音色；同一角色全剧固定声线（参考图锁脸同理）。
- **台词规范**：单句 ≤12 字最利口型；长对白拆短句或改画外音。

## 二、口型（Lip-sync）

- **图→对口型**：LivePortrait（肖像驱动，轻）、Wav2Lip（通用）、EchoMimic V2（半身/全身数字人）、LatentSync（端到端）。
- **即梦对口型**：≤9 秒，选音色或上传配音，嘴型自然。
- **要点**：先出无声视频再对口型，或选原生音画同步模型省一步。

## 三、BGM 与音效

- **BGM**：按情绪曲线选曲；**商用需授权或来自无版权曲库**（如平台自带/CC0）。
- **音效**：环境声（雨/街市）、打击（巴掌/刀剑）、转场 whoosh。
- **混音**：对白优先，BGM 不压人声；统一响度（LUFS 约 -16 至 -14）。

## 四、音画同步要点

- 对白短句 → 口型自然；长句必错位。
- 剪辑时音频对齐视频帧，统一帧率（24/25/30fps）。
- 卡点：画面切换对齐 BGM 鼓点，提升爽感（见 `06` 后期）。

## 五、自检（见 `07` QA 清单声音层）
口型匹配？对白清晰？BGM 比例？环境音到位？授权合规？

---

## 六、声音的情绪设计（Sound Design）

> 「三、BGM 与音效」讲**有什么**，本节讲**怎么用声音演戏**。声音是最便宜的情绪杠杆：**改音量、改留白，不改一帧画面**。

### 6.1 声音三层结构（缺一层就"瘪"）

| 层 | 内容 | 作用 | 音量关系 |
|---|---|---|---|
| **对白层** | 台词/旁白 | 信息与情绪的主体 | 最高，永远清楚 |
| **音效层** | 环境声 + 动作声 | 建立"真实空间"（有雨声才知道在下雨） | 中，垫在对白下 |
| **音乐层** | BGM | 定情绪底色 | 低，人声出现时自动让位 |

**常见病**：**只做了对白层**（干读台词）→ 听起来像有声书，不像剧。**环境底噪（room tone）是"空间感"的来源**，哪怕只有一点点。

### 6.2 响度即情绪

- **响度对比 > 绝对响度**：一直大声 = 没有高潮。**安静下来再炸**，才有爆发力。
- **情绪曲线 → 音量曲线**：压抑段压小、释放段推满（与 `02` 二.2 的情绪曲线同构）。
- **混音规范**：对白优先不被压；统一响度 **LUFS 约 -16 至 -14**（`06` 平台适配会再压）。

### 6.3 静音是最强的声音

| 手法 | 做法 | 效果 |
|---|---|---|
| **瞬间静音** | 爆发前一帧抽掉所有声音（0.3–0.5s） | 打击感倍增（打脸/开战必用） |
| **抽掉环境声** | 只留主角的呼吸/心跳 | 主观化，进角色内心 |
| **留白** | 关键台词前的 1 秒空 | 让观众"等" → 制造期待 |
| **戛然而止** | 高潮处 BGM 直接断 | 比渐弱更狠（收尾/悬念用） |

⭐ **AI 落地**：H3 / 即梦是**原生音画同出**，静音与留白**要在提示词里描述**（例：`brief silence before the slap, then sharp impact sound`），不能像后期那样单独剪。

### 6.4 声音先入 / 声音延续（跨场衔接）

- **声音先入（J-cut）**：下一场的**声音早于画面**进入（先听见雨声，再切到雨中）。
  → 转场最自然的方式之一，比"淡入淡出"高级（对应 `14` 六匹配剪辑的"声音匹配"）。
- **声音延续（L-cut）**：画面已切，上一场的**声音还在**（旁白跨场、回声渐远）。
- 两者都是**免费的高级感**，且不依赖模型——纯剪辑层就能做（`06` / `post.js` 的 BGM 混音）。

### 6.5 声音与人物的绑定

- **声线即人物**：主角/配角/旁白用不同音色；同一角色**全剧固定声线**（锁脸同理，见 `03` 一）。
- **声线可随成长微调，但要标注**（`10` 示例 E：女主声线从怯懦转冷静）——**必须记进设定文档，否则后配时对不上**。
- **旁白三用**：交代省略的时间（"三年后"）、点题（金句）、补内心（AI 表情不够时用声音补）。

### 6.6 声音自检（补充 `07` QA 声音层）

- [ ] 三层都有吗（对白 / 音效 / 音乐）？有没有环境底噪？
- [ ] 有没有"该静下来的地方"（爆发前、金句前）？
- [ ] 音量曲线与情绪曲线**同向**吗？
- [ ] 转场用了声音先入 / 声音延续吗（至少一处）？
- [ ] 同一角色声线全剧一致吗？（在设定文档里登记过？）
- [ ] BGM 有没有压住对白？