cyber-xiaoya/cyber-xiaoya-live

选用指南

AI 根据 README 整理 · 2026/10/25 22:26:21

使用方式

通过本地网页舞台页操作，启动桥和舞台页后访问 http://127.0.0.1:8795/stage，支持打字互动、快捷指令、点播歌单、参考图、自动录播等功能。

查看 README 依据

| TTS 服务（OmniVoice / 见 §2.4） | 必须，否则没声音 | 本机跑，WSL2 + CUDA | | ffmpeg | 必须 | 音频解码统一走它 | | 弹幕采集器（抖音/B站/YouTube） | 可选 | 不装就只能手动打字互动 | | 点播歌库 | 可选 | 不放歌就没有点播 | | 摄像头/推流软件（OBS 等） | 可选 | 想把画面推给平台才需要 | --- ## 1. 它到底是怎么跑起来的 ``` 浏览器「舞台页」 ──文字──▶ 本地桥(FastAPI :8795) ──type9──▶ Vidu 云端 ▲ │ │ LLM 流式 → 分句 → TTS(本机) → PCM 流 │ │ └── WebRTC 订阅画面 ◀── Vidu 渲染口型+动作 ──▶ RTC 频道 ``` - **Vidu 只负责"变成画面"**：给文字/音频，它渲染口型、表情、动作并推流 - **其余全在本机**：LLM 思考、TTS 发声、弹幕处理、点播、录播下载 - 舞台页是本地网页（`http://127.0.0.1:8795/stage`），你在浏览器里操作，不需要公网

| `tts.voices_dir` | 音色目录 | | `tts.files_dir` | 点播目录，默认 `audio` | | `bridge.port` | 默认 8795 | `config.json` 里有密钥，**已被 `.gitignore` 排除**，不要提交。 --- ## 4. 启动 ```powershell # 只起桥 + 舞台页（最简单） .venv\Scripts\python.exe -m src.main # 或者一键脚本：桥 + TTS + 弹幕 + 打开舞台页（缺的组件自动跳过） 双击 启动-组件版全链路.cmd ``` 打开 <http://127.0.0.1:8795/stage>，点「开始连线」，等 5–15 秒画面出来。 > ⚠️ 连线即开始计费（1 积分/秒）。测完记得点「断开」。 --- ## 5. 舞台页能干什么 | 区域 | 功能 | |---|---| | 中间 | 数字人画面 + 字幕 + 动作指令特效（只显示弹幕抓出来的指令） | | 底部输入框 | 打字跟她聊（走 LLM → TTS → 说话） | | 🎬 直发 | 直接把动作指令发给 Vidu，不经过 LLM（她默默执行） | | 🕹 快捷指令 | 点一下即发送；编辑模式可拖拽排序、改名、新建 |

| 🎵 点播歌单 | 放歌（带歌词字幕） | | 🖼 参考图 | 换装 / 拿起商品 / 换背景 | | ⏺ 自动录播 | 让 Vidu 服务端录下这一场，播完自动下载到本地 | | ⚙ 设置 | 音色、开场白、字幕位置、黑名单词表等 | > 📌 **快捷指令组只带了示例**：🍉吃喝 14 条 / 💇外表 11 条 / 🎭拟人化 10 条 / 🎁拿出 8 条。 > 拟人化那 10 条是随机留的样例，真正的动作库请你在舞台页「🕹 快捷指令 → ✏️ 编辑」里自己加 > （支持拖拽排序、双击改名、跨组移动、⇩导出/⇧导入）。 --- ## 6. 常见问题 **Q：连不上 Vidu / 401？** 检查 `vidu.api_key` 是否正确、余额是否 <45 积分（会直接开不了场）。 **Q：她没有声音？** 99% 是 TTS 没起来。先 `curl http://127.0.0.1:9877/` 看是不是 200；WSL2 重启后需要重新拉起服务。 **Q：WSL2 重启后连不上 9877？** IP 变了。`wsl hostname -I` 查新 IP，改 `tts.omnivoice_base`，或者用镜像网络模式走 `127.0.0.1`。 **Q：画面卡 / 说话延迟大？**

部署要求

需要 Windows 10/11 和 NVIDIA 显卡（≥8GB 显存），以及 Vidu 账号和 API Key、LLM API Key、TTS 服务（OmniVoice）和 ffmpeg。

查看 README 依据

> 🎬 [**带声音的原片**（720×1560，v1.0.0 附件）](https://github.com/cyber-xiaoya/cyber-xiaoya-live/releases/download/v1.0.0/demo-sound.mp4) · 无声版 [demo.mp4](assets/demo.mp4) <p align="center"> <img src="assets/stage-panel.png" width="820" alt="舞台页（主播操作台）"> </p> 这是**主播这端看到的「舞台页」**：左边是数字人画面 + 实时字幕，右边是快捷指令 / 点播 / 参考图面板， 底部一行是打字、直发动作、点播、中断、设置。（界面示例，字幕为演示数据） --- ## 0. 你需要准备什么 | 项目 | 是否必须 | 说明 | |---|---|---| | Windows 10/11 + NVIDIA 显卡（≥8GB 显存） | 必须 | 渲染在云端，但 TTS 在本机跑 | | Vidu 账号 + API Key | 必须 | 数字人渲染与推流，按秒计费（1 积分/秒） | | LLM API Key（DeepSeek 或任意 OpenAI 兼容） | 必须 | 她的"脑子" |

| TTS 服务（OmniVoice / 见 §2.4） | 必须，否则没声音 | 本机跑，WSL2 + CUDA | | ffmpeg | 必须 | 音频解码统一走它 | | 弹幕采集器（抖音/B站/YouTube） | 可选 | 不装就只能手动打字互动 | | 点播歌库 | 可选 | 不放歌就没有点播 | | 摄像头/推流软件（OBS 等） | 可选 | 想把画面推给平台才需要 | --- ## 1. 它到底是怎么跑起来的 ``` 浏览器「舞台页」 ──文字──▶ 本地桥(FastAPI :8795) ──type9──▶ Vidu 云端 ▲ │ │ LLM 流式 → 分句 → TTS(本机) → PCM 流 │ │ └── WebRTC 订阅画面 ◀── Vidu 渲染口型+动作 ──▶ RTC 频道 ``` - **Vidu 只负责"变成画面"**：给文字/音频，它渲染口型、表情、动作并推流 - **其余全在本机**：LLM 思考、TTS 发声、弹幕处理、点播、录播下载 - 舞台页是本地网页（`http://127.0.0.1:8795/stage`），你在浏览器里操作，不需要公网

已知限制

项目不包含人物形象、克隆音色、人设、动作库、歌库和 API Key，需要用户自行准备；TTS 引擎目前只实现 OmniVoice，更换其他 TTS 需要自行编写适配层。

查看 README 依据

> 仓库里给的是**整套软件**（舞台页 + 本地桥 + 弹幕/歌单/录播全链路）， > 但**不包含**作者的人物形象、克隆音色、人设、动作库、歌库和任何 API Key —— 那些需要你自己准备。 > 这份 README 会把"从零跑起来"需要做的每一步写清楚，照着做大约 **1 小时**。 --- ## 效果 <p align="center"> <img src="assets/live-on-douyin.jpg" width="620" alt="赛博小雅在抖音直播中的画面"> </p> 这是**手机端抖音直播的实拍截图**：观众弹幕进来 → 舞台页把指令翻译成动作 → 数字人执行（画面里是"拿出墨镜戴上"）， 底部是她正在说的话（由 LLM 生成 + 本机 TTS 合成）。 <p align="center"> <img src="assets/demo.gif" width="320" alt="6 秒演示：弹幕驱动数字人动作"> </p> > 6 秒实拍。能看到：弹幕 → 动作指令 → 数字人真的执行了。

先看 GPU 占用；TTS 和渲染抢显存时，把 OmniVoice 的 `--graph-buckets` 减少一些。 **Q：录播下载不到文件？** Vidu 侧封盘可能要几分钟到几十分钟；页面「↻ 拉取录播」可以手动重试。 **Q：能换别的 TTS 吗？** 代码里 `tts.engine` 目前只实现 `omnivoice`；要接 Edge-TTS / GPT-SoVITS 需要自己写一个适配层（`src/tts/` 下加一个类即可）。 --- ## 7. 仓库里**没有**什么 为了避免"下载后发现跑不起来"，这里明确列出作者**故意没放**的东西： - ❌ 人物形象（图片/视频/形象模型）—— 需要你自己上传到 Vidu - ❌ 克隆音色（参考音频、音色模型） - ❌ 人设提示词正文、文案、歌单、动作库内容 - ❌ 任何 API Key、Cookie、账号凭据 - ❌ OmniVoice 模型权重（几 GB）、Python 依赖环境（2 GB+）、歌库音频 - ❌ 弹幕采集器（另一个项目，见 §2.5） **这不是藏私**：形象、音色、人设是每个主播自己的东西，也是防止有人拿本项目做二次售卖的边界。 代码是完整的，缺的都是"你自己的内容"。 --- ## 8. 许可证 - **代码**：[GNU AGPL-3.0](./LICENSE)