基于星火大模型的智能会议纪要生成系统

大学生创新训练项目 · 核心成员 · 已结项

项目简介

项目围绕会议语音转写、模板化纪要生成和人脸考勤展开，探索大模型在会议记录中的应用。

工作内容

我主要负责人脸识别考勤的核心算法，围绕低算力设备部署设计检测与特征提取流程。人脸检测采用 Ultra-Light-Fast-Face-Detector；特征提取使用 MobileFaceNet V2 和深度可分离卷积，并结合 SE 通道注意力进行特征压缩。我还参与异步图像处理，并初步实现联邦学习算法模型。

项目背景

会议通常需要完成签到、语音记录、内容整理和会后归档。人工处理这些环节需要在会议进行和结束后分别投入时间，记录内容和格式也可能因人员而异。项目围绕会议管理流程，将人脸考勤、语音转写、模板填充与纪要编辑组织到一套系统中。

团队采用模块化方式分工：人脸考勤处理参会人员签到，语音模块将录音转换为文字，模板模块提取会议字段并生成初稿，用户再对缺失或需要修改的内容进行人工编辑。系统结合已有开源模型与接口，项目实践重点是模块实现、集成和实际会议场景下的验证。

人脸考勤：我的工作

我主要负责人脸识别考勤模块的核心算法，关注人脸检测、特征提取及模型轻量化。考勤流程从摄像头采集画面，定位人脸区域，提取人脸特征，并与已有特征进行比对；识别结果随后进入考勤记录流程。

人脸检测使用 Ultra-Light-Fast-Face-Detector。根据项目材料，该检测模型参数量约为 0.1M，适合在计算资源有限的设备上运行。检测得到的人脸区域进入后续识别流程；人脸尺寸、光照和拍摄距离都会影响图像质量，因此项目也考虑了输入尺寸和图像预处理。

特征提取采用 MobileFaceNet V2。深度可分离卷积将空间方向的逐通道计算与通道间的逐点计算分开，适合轻量化模型设计。项目还结合 SE 通道注意力进行特征处理，材料记载特征向量从 512 维压缩至 128 维，以减少特征存储和比对的数据量。

在人脸考勤流程中，检测和识别承担不同任务：检测阶段确定画面中的人脸位置，特征提取阶段将人脸图像转换为用于比较的表示。模型选型与压缩工作的目标，是让这一流程适应项目使用的普通计算设备，并配合后续记录模块完成签到。

我还参与异步图像处理，并初步实现联邦学习算法模型。团队成员同时承担模块工程化工作，将视频检测、特征匹配和考勤记录写入等环节组织到处理流程中。联邦学习与知识蒸馏也是项目技术调研的一部分。

系统集成

会议语音模块负责录音、分段与接口转写，转写文本进入模板处理流程。模板模块按照预设字段与规则组织会议内容，生成纪要初稿后，用户可以检查并补充缺失字段。项目报告列出需求评审、周例会、组会、实验讨论和答辩准备等模板场景。

系统采用前后端分离的组织方式，模块之间通过接口传递数据。团队在集成中处理过 Python 依赖冲突，使用虚拟环境和依赖版本记录整理运行环境。对于考勤识别失败的情况，项目材料还记录了手动签到方式。

结项材料记载，项目通过 Flask 提供后端接口，Vue 用于前端交互，会议数据按模块处理。语音输入、文本转写、字段提取和模板匹配依次连接；自动生成后的纪要仍由使用者检查、编辑并导出。考勤模块为会议流程提供人员签到信息。

结果与进展

项目于 2026 年结项，已形成软件作品。人脸识别部分采用轻量级检测与特征提取模型，特征向量由 512 维压缩至 128 维；联邦学习模型完成了初步实现。系统材料涵盖会议纪要生成、人脸考勤及相关方案设计。

结项材料记录了室内正常光照下的考勤测试：10 名受试者各签到 10 次，共 100 次测试，其中 87 次识别成功，单次识别平均耗时为 180 毫秒。这些数字对应报告中记录的测试场景和样本规模。

材料还记录了低光照和逆光条件下的探索，包括依据画面亮度调整输入处理或匹配阈值。项目报告列出的正常光照测试、单次识别耗时和环境条件可以作为复查该模块表现的依据；不同场景下的识别情况需结合各自测试条件理解。

模板模块的测试材料记录了 10 份纪要、平均每份 18 个字段的填写情况：平均自动填充 13 个字段，填充率为 72.2%。这些结果描述的是整个团队系统的测试，我的主要工作集中在人脸考勤算法部分。