背景

天下苦水课已久矣，AI降神救苍生于苦海

现在的AI已经足够聪明，但如果只让它生成“鹦鹉骑车”之类的小动画，对日常生活并没有太大实际价值。本文介绍一种低成本方案：让AI Agent帮你“上课”，并自动整理课程笔记。

目标读者：

如果你想自定义一套自己的Agent上课方案，用较低成本获得较好的笔记效果，本文值得一读。
如果你有自定义的场景，例如有课程老师没有板书，希望实现语音+ppt上课节省token或希望过滤掉学生pre等非考试相关内容以节省token等需求，本文值得一读。
如果你没有课程回放，只能自行录音，本文也对你有所帮助
如果你只想快速从视频得到一份笔记，也可以尝试VideoNote-MCP等现成工具。

具体实现方案

方案构建逻辑

当前大模型已经具备较强的理解与总结能力，因此完全可以先把任务目标、输入输出和约束告诉AI，再让它自己编写一份skill来编排流程。下面重点给出方案设计，而不是绑定某一个具体Agent 实现。

要让AI“上课”，核心需要解决两件事：怎么听、怎么看。

不建议直接采用专门的视频理解模型：成本较高，而且不容易接入老师提供的PPT、讲义等外部资料。更务实的方案是：

听：使用faster-whisper做语音识别，将课堂音频转写为文字。
看：使用ffmpeg抽帧，重点抽取板书、PPT 翻页和画面变化明显的帧，后续可插入笔记中辅助理解。

由于整个流程由 Agent 管理，Agent 在整理笔记时可以结合上下文、PPT和抽帧信息对语音识别结果进行修正。因此，最终笔记质量不会完全受语音识别偏差影响。

如果有条件（即老师板书作用不大），或者课程本身是纯 PPT 类型，可以跳过 ffmpeg 抽帧，直接把 PPT 与语音转写文本交给 Agent 整理。对大多数课程而言，这已经能满足基本需求。

依赖安装

依赖可以让 AI 协助安装，但建议人工确认关键环境，尤其是语音识别是否真正使用 GPU，避免出现“装了 GPU 依赖却仍用 CPU 跑”的情况。

核心依赖：

ffmpeg
Python 3
faster-whisper 及其依赖项

Linux

以下以 Arch Linux 为例，Ubuntu 等发行版请使用对应的包管理器。

# 安装 Python 3 和 ffmpeg
pacman -S python3 ffmpeg

# 安装核心语音识别库
pip install faster-whisper

# GPU 加速依赖，可根据显卡与 CUDA 环境让 AI 协助安装
pip install nvidia-cublas-cu12 nvidia-cudnn-cu12==9.*

Windows

Python 3 的安装请参考相关教程。

# 通过 winget 安装 ffmpeg
winget install ffmpeg

# 安装核心语音识别库
pip install faster-whisper

# GPU 加速依赖，可根据显卡与 CUDA 环境让 AI 协助安装
pip install nvidia-cublas-cu12 nvidia-cudnn-cu12==9.*

执行流程

执行流程可直接喂给ai,让ai自行构建工作流

整体流程如下：

获取原始素材：从教学网下载课程视频/音频，或在上课时自行录音、录屏。
语音转写：使用faster-whisper将音频信息转写为文字。
抽取关键帧：可让AI编写脚本，根据画面变化率判断是否保留为关键帧。教室场景背景相对固定，按变化率抽帧通常效果更好。
综合生成笔记：将关键帧信息、语音转写文本、PPT等外部资料一起交给Agent，生成课程笔记。
二次自检：对笔记做质量检查，确保其通过质量门禁。

质量门禁建议

二次自检时，可以要求 Agent 至少检查以下项：

知识点是否完整，是否遗漏课堂主线。
时间顺序与章节结构是否合理。
术语、公式、专有名词是否前后一致。
关键帧、PPT 与文字内容是否对应。
对语音识别低置信度或上下文矛盾的内容，是否已标注或修正。
笔记是否便于复习，而不是简单逐字稿。
对于重要或难度较高的课程，笔记是否遵从老师的教学流程和教学思路，因为有时候ai的讲解不如老师。

注意事项

录音、录屏和 PPT 的使用应遵守课程版权与隐私要求。
faster-whisper 的模型大小、设备类型和计算精度会影响速度与准确率，建议根据硬件条件选择。
纯 PPT 课程可优先采用“PPT + 语音转写”的轻量流程；板书较多的课程再启用抽帧。
Agent 适合负责流程编排、信息融合和笔记修正，但关键依赖与 GPU 环境建议人工核验。