T1067–85
在人工降质的语音上训练:真实的失语症语音也吃这一套吗
1 · 研究问题
一个痴呆照护 AI 用"课程学习"在逐步降质的语音上微调 Whisper,报告词错误率显著下降。关键问题是这些降质语音是怎么来的。 如果是对健康语音施加信号处理(加噪、时间拉伸、频谱扭曲)人工合成的,那么模型学到的是对该合成过程的鲁棒性,而真实的构音障碍语音在音段时长、共振峰轨迹、发声起始时间、停顿结构上的偏离是信号处理无法复制的。人工降质语音与真实病理语音在声学空间中的距离有多大? 在预先固定的样本、对照与统计口径下,主效应的方向、幅度和不确定度分别是多少,结论能否在独立留出数据或独立重复中成立?
2 · 研究背景与空白
背景。 这条课题研究的不是“能不能做出一个结果”,而是一个现有结论在测量误差、样本差异和外推条件改变后还能不能站住。核心逻辑是把观察量、真实目标量与混杂因素分开:先用已知答案校验工具,再固定对照和重复单位,最后用误差棒判断差异。只给一个最高分、一次演示或一条相关关系,不能说明方法在新样本上可靠。
已有工作到哪一步。 TECA018(2026 TECA Special Award)"SAMA: Self-Evolving AI Assistant for Dementia Care"——摘要原文:三个子系统之一是自演化自动语音识别系统,用 Whisper 检测紊乱语音并持续标注/学习用户语音数据;"I designed a two stage training pipeline to fine-tune SAMA to auto adapt to daily degraded speech. Stage one utilizes a curriculum learning pipeline to improve Whisper's accuracy in progressively degrading speech, while stage two experimented several training algorithms including SFT and RL training to enhance the text reasoning of Qwen 3 for hypothesis ranking.";"Testing of the two stage pipeline show significant reduction of WER"。摘要未说明"progressively degrading speech"是真实纵向录音还是人工合成的降质序列——这是本课题的前提,必须先核实。相关:TECA013(2025,未获奖)在人为削波失真下比较四个 ASR 模型的词错误率(Whisper、RealtimeSTT、Wav2vec2、SpeechRecognition),并做了傅里叶分析说明高频受影响更大——这是同一类问题的一个较早的、诚实的探索,可作为正面参照引用;TECA019(2026,未获奖)用 35,182 条话语区分言语障碍与双语口音(多层感知器 97.6%)——该项目的数据组合方式本身也值得追问,见下方"继续找题"。
空白在于:你产出声学分布距离测量:在同一组声学特征空间中(时长、语速、共振峰离散度、发声/清音比、谱变化率等),计算三组语音两两之间的分布距离——健康语音、人工降质语音、真实病理语音。如果人工降质语音离健康语音的方向与真实病理语音离健康语音的方向不同,那么在前者上做课程学习就无法保证迁移。 这个结论可以用一张二维投影图讲完,极适合展板。第二产出:方向性诊断——逐个特征报告"人工降质把它推向了哪边、真实病理把它推向了哪边",找出符号相反的那些特征。第三产出:更好的降质方案——基于测得的偏离方向设计一组更贴近真实的增强,并验证其分布距离更小。 五字段原文的研究问句是:一个痴呆照护 AI 用"课程学习"在逐步降质的语音上微调 Whisper,报告词错误率显著下降。关键问题是这些降质语音是怎么来的。 如果是对健康语音施加信号处理(加噪、时间拉伸、频谱扭曲)人工合成的,那么模型学到的是对该合成过程的鲁棒性,而真实的构音障碍语音在音段时长、共振峰轨迹、发声起始时间、停顿结构上的偏离是信号处理无法复制的。人工降质语音与真实病理语音在声学空间中的距离有多大? 这适合一年期学生课题,因为可以把主任务裁成一个对象、一个主指标和一个独立复核;即使预期差异不出现,只要校验与统计功效过关,零结果仍能界定已有结论的适用边界。
3 · 可检验假设
H1 在加入本课题预先规定的控制、校正或独立验证后,主指标将沿五字段框架所述预期方向变化,且相对基线变化 ≥ 10% 或标准化效应绝对值 ≥ 0.5;若 95% 置信区间同时排除这两个门槛,则 H1 被否证。两种尺度只选与主指标有意义的一种,并在预实验前写死。
H2 若 H1 被否证,备择机制是假定原观察主要由测量误差、样本构成、基础率、时间漂移或未控制混杂驱动;比较“仅含原变量”与“加入机制变量”的模型,若主效应方向改变或绝对值下降 ≥ 20%,则支持机制解释,否则报告当前分辨率下未找到证据。
4 · 量化验收标准
- 方法学校验硬门槛。 用自建管线、装置或代码重跑一个答案已知的合成算例/标准样;主量反算偏差须 ≤ 5%。不过关则停止,且后续全部结论无效。
- 统计口径预先写死。 独立样本、技术重复和连续观测分开计数;测量类每个关键条件至少 3 次独立重复,技术重复只估计仪器噪声,并用误差传播或方差分量合成不确定度。极不平衡分类主报 PR-AUC、precision、recall,不以 accuracy 为主,因为全猜多数类也会虚高;时间序列按时间划分并把随机划分仅作泄漏对照。
- 正式采集前固定主指标、排除规则、对照、效应方向与 10%(或标准化效应 0.5)判据;报告全部独立重复、效应量和 95% 置信区间,不只报 p 值或最佳一次。
- 至少完成一项阴性对照和一项敏感性分析;改变关键阈值、预处理或模型选择时,主结论不得仅由单一任意选择决定。
- 用独立批次、独立留出段或第二种原理不同的方法复核主量;不一致时优先报告不一致与误差预算,不平均成一个“更好看”的数字。
- 可复现性。 保存原始数据、清洗记录、参数、环境版本、随机种子、脚本和排除日志;第三方应能重建主表与主图。
5 · 数据与工具
| 用途 | 来源 / 工具 |
|---|---|
| 研究对象与主问题 | 一个痴呆照护 AI 用"课程学习"在逐步降质的语音上微调 Whisper,报告词错误率显著下降。关键问题是这些降质语音是怎么来的。 如果是对健康语音施加信号处理(加噪、时间拉伸、频谱扭曲)人工合成的,那么模型学到的是对该合成过程的鲁棒性,而真实的构音障碍语音在音段时长、共振峰轨迹、发声起始时间、停顿结构上的偏离是信号处理无法复制的。人工降质语音与真实病理语音在声学空间中的距离有多大? |
| 原创切口 | 你产出声学分布距离测量:在同一组声学特征空间中(时长、语速、共振峰离散度、发声/清音比、谱变化率等),计算三组语音两两之间的分布距离——健康语音、人工降质语音、真实病理语音。如果人工降质语音离健康语音的方向与真实病理语音离健康语音的方向不同,那么在前者上做课程学习就无法保证迁移。 这个结论可以用一张二维投影图讲完,极适合展板。第二产出:方向性诊断——逐个特征报告"人工降质把它推向了哪边、真实病理把它推向了哪边",找出符号相反的那些特征。第三产出:更好的降质方案——基于测得的偏离方向设计一组更贴近真实的增强,并验证其分布距离更小。 |
| 前作与对照基准 | TECA018(2026 TECA Special Award)"SAMA: Self-Evolving AI Assistant for Dementia Care"——摘要原文:三个子系统之一是自演化自动语音识别系统,用 Whisper 检测紊乱语音并持续标注/学习用户语音数据;"I designed a two stage training pipeline to fine-tune SAMA to auto adapt to daily degraded speech. Stage one utilizes a curriculum learning pipeline to improve Whisper's accuracy in progressively degrading speech, while stage two experimented several training algorithms including SFT and RL training to enhance the text reasoning of Qwen 3 for hypothesis ranking.";"Testing of the two stage pipeline show significant reduction of WER"。摘要未说明"progressively degrading speech"是真实纵向录音还是人工合成的降质序列——这是本课题的前提,必须先核实。相关:TECA013(2025,未获奖)在人为削波失真下比较四个 ASR 模型的词错误率(Whisper、RealtimeSTT、Wav2vec2、SpeechRecognition),并做了傅里叶分析说明高频受影响更大——这是同一类问题的一个较早的、诚实的探索,可作为正面参照引用;TECA019(2026,未获奖)用 35,182 条话语区分言语障碍与双语口音(多层感知器 97.6%)——该项目的数据组合方式本身也值得追问,见下方"继续找题"。;仅用于校验与对比,不计入本项目的数据贡献 |
| 数据/样本 | 需核实:可取得数量、独立单位、标签/测量定义、许可与缺失情况;未确认内容不得写成已具备 |
| 分析工具 | 纯 CPU、16 GB 笔记本可运行的开源工具优先;需核实版本、许可、输入格式、分组/时序划分和不确定度输出能力 |
| 校验材料 | 已知答案的合成数据、标准样或公开基准;仅用于校验与对比,不计入本项目的数据贡献 |
| 风险边界 | 最大的 go/no-go 是真实病理语音语料的获取——主要的构音障碍语音数据库(TORGO、UASpeech 等)需要签署使用协议,未成年人申请可能受限。必须在立项前解决这一步。 若无法获取,退路是使用公开的老年语音或带口音/嘈杂环境语音语料,把课题改成"人工降质是否能代理真实的说话人变异",结论形态相同但主张收窄。 人类受试者:不触发(使用既有的、经许可的去标识化语音语料;不录制任何新语音)。且务必遵守语料许可,展板上不得播放任何可识别个体的录音。 可行性:声学特征提取(librosa/praat-parselmouth)与分布距离计算纯 CPU;不需要微调 Whisper——这是可行性的关键。 |
6 · 方法路径
- 装环境或搭装置,跑通已知答案算例并完成校验。 锁定版本、单位、坐标/标签定义和误差计算;反算偏差 >5% 时只修方法,不进入正式样本。
- 核实工具能力边界并逐条排查静默失败点。 五字段原约束为:最大的 go/no-go 是真实病理语音语料的获取——主要的构音障碍语音数据库(TORGO、UASpeech 等)需要签署使用协议,未成年人申请可能受限。必须在立项前解决这一步。 若无法获取,退路是使用公开的老年语音或带口音/嘈杂环境语音语料,把课题改成"人工降质是否能代理真实的说话人变异",结论形态相同但主张收窄。 人类受试者:不触发(使用既有的、经许可的去标识化语音语料;不录制任何新语音)。且务必遵守语料许可,展板上不得播放任何可识别个体的录音。 可行性:声学特征提取(
librosa/praat-parselmouth)与分布距离计算纯 CPU;不需要微调 Whisper——这是可行性的关键。 此外检查单位或标签错位、全数据预处理泄漏、相关观测冒充独立 n、缺失值静默填 0、默认参数改变口径、输出正常但物理量方向或尺度错误;每项用最小反例测试,不能以“软件未报错”作为通过。 - 预注册最小设计。 把主问题收敛为一个对象、一个主指标、一个主要对照;写死样本单位、重复数、阈值、排除规则和降级触发条件。
- 采集或整理正式数据。 保留原始输入与时间戳/批次,盲化能盲化的标签;协议偏离当天登记,不覆盖原记录。
- 估计主效应与不确定度。 同时报原口径与校正口径,给出误差棒、效应量、失败样本和敏感性曲线;分类、时序或测量问题按 §4 执行。
- 检验 H2 与边界条件。 H1 不成立时不临时换题,而是量化测量误差、样本构成、基础率、时间漂移或混杂能解释多少。
- 独立交叉校验。 使用独立批次、留出时间段或第二种原理不同的方法复算主量;失败时以“不一致”为主结果,不选择性保留支持预期的路径。
7 · 新颖性边界
本课题不声称什么: 不声称首次进入该主题,不声称重新发现或推翻前作,也不把前作的项目编号、年份、奖级、引文和数字据为本项目结果;具体已有工作是:TECA018(2026 TECA Special Award)"SAMA: Self-Evolving AI Assistant for Dementia Care"——摘要原文:三个子系统之一是自演化自动语音识别系统,用 Whisper 检测紊乱语音并持续标注/学习用户语音数据;"I designed a two stage training pipeline to fine-tune SAMA to auto adapt to daily degraded speech. Stage one utilizes a curriculum learning pipeline to improve Whisper's accuracy in progressively degrading speech, while stage two experimented several training algorithms including SFT and RL training to enhance the text reasoning of Qwen 3 for hypothesis ranking.";"Testing of the two stage pipeline show significant reduction of WER"。摘要未说明"progressively degrading speech"是真实纵向录音还是人工合成的降质序列——这是本课题的前提,必须先核实。相关:TECA013(2025,未获奖)在人为削波失真下比较四个 ASR 模型的词错误率(Whisper、RealtimeSTT、Wav2vec2、SpeechRecognition),并做了傅里叶分析说明高频受影响更大——这是同一类问题的一个较早的、诚实的探索,可作为正面参照引用;TECA019(2026,未获奖)用 35,182 条话语区分言语障碍与双语口音(多层感知器 97.6%)——该项目的数据组合方式本身也值得追问,见下方"继续找题"。
已有工作做到哪一步: 五字段证据表明前作已完成其原始对象、方法或性能演示;本项目完整保留这条事实,不把摘要未写出的信息推断为“没有做”。数据集、器材规格、价格、货期或外部文献的任何补充均标为“需核实”。
本项目贡献(属「评价维度转换」;若使用全新独立对象则同时属「新样本独立检验」,若核心是校准与脚本则同时属「方法可复现性贡献」): 你产出声学分布距离测量:在同一组声学特征空间中(时长、语速、共振峰离散度、发声/清音比、谱变化率等),计算三组语音两两之间的分布距离——健康语音、人工降质语音、真实病理语音。如果人工降质语音离健康语音的方向与真实病理语音离健康语音的方向不同,那么在前者上做课程学习就无法保证迁移。 这个结论可以用一张二维投影图讲完,极适合展板。第二产出:方向性诊断——逐个特征报告"人工降质把它推向了哪边、真实病理把它推向了哪边",找出符号相反的那些特征。第三产出:更好的降质方案——基于测得的偏离方向设计一组更贴近真实的增强,并验证其分布距离更小。 主结论是原结论在预注册控制与独立复核下的效应幅度及适用边界,不是附带造一个更复杂模型或装置。
为何有价值: 它把“看起来有效”转换为“在多大误差、何种样本和什么阈值下仍有效”。差异不显著同样是有效结论,但必须给出误差棒证明有能力分辨预注册的 10% 相对变化或标准化效应 0.5;置信区间过宽只能写“测不出来”。
8 · 决策门槛(go / no-go)
第 5 周末必须同时满足:校验偏差 ≤ 5%、至少取得计划独立样本的 20%、主指标能从原始输入稳定重算。任一不满足,立即启动具名降级路径 “单对象能力边界标定”:砍掉多对象/多模型比较,只保留最可得的一种对象、一个主指标和一个独立复核,转而报告误差、敏感性与最小可分辨效应;主结论仍是“原结论在什么条件下站得住”。
与“附属赛后不得修改”的冲突点:主指标、阈值、样本排除、对照、预处理和降级触发条件必须赛前定死。须提前核实: 最大的 go/no-go 是真实病理语音语料的获取——主要的构音障碍语音数据库(TORGO、UASpeech 等)需要签署使用协议,未成年人申请可能受限。必须在立项前解决这一步。 若无法获取,退路是使用公开的老年语音或带口音/嘈杂环境语音语料,把课题改成"人工降质是否能代理真实的说话人变异",结论形态相同但主张收窄。 人类受试者:不触发(使用既有的、经许可的去标识化语音语料;不录制任何新语音)。且务必遵守语料许可,展板上不得播放任何可识别个体的录音。 可行性:声学特征提取(librosa/praat-parselmouth)与分布距离计算纯 CPU;不需要微调 Whisper——这是可行性的关键。 同时核实许可、设备/软件真实能力、场地、表格和采购可得性。已知困难及其定位:这些限制就是能力边界,不用未经核实的规格填补。选择前提:学生愿意做重复、校验和零结果解释。预算裁剪顺序:先砍多模型/多材料,再砍次要指标,再砍展示性装置;不得砍校验、主要对照、独立重复和交叉验证。
净实验窗口按 2026-08 至 12 月约 3–4 个月规划。按实际对象核实合规:附属赛后项目不得更改;展台禁液体(含水)、土壤、玻璃、锐器、化学品、干燥粉末、>100 Wh 电池和通电无人机,禁网址与二维码;家中不得培养任何潜在危险生物制剂;涉及脊椎动物、人类受试者、激光、高真空或 SDS 标注的致癌致畸化学品时,须在相应动作前确认审批。AI 不得用于撰写研究计划、摘要、展板或引文。
评分: O=8, W=8, F=6, S=7, Fit=9 → base=76.0,h=9 → [67, 85],置信度:中(前提与语料获取均未核实)