完整内容 50 / 96 · 十科学习与独立验证
信息技术：训练数据、测试数据与模型偏差
用简单分类案例理解评价和数据泄漏，不把一次高分当可靠智能。
开始之前
先确认这些基础；还没学过时可以直接补学。
- 分开训练与测试用途
- 识别数据泄漏
- 用错误样本解释模型局限
学习规则与评价规则分开
训练数据帮助形成规则，测试数据用于评价未见情况。如果用测试结果反复改规则，再把同一测试分数当未知表现，评价已经失去独立性。
先定义任务和错误成本，再选择指标。样本类别严重不均衡时，全部猜多数类也可能得到高准确率，需要查看每类错在哪里。
泄漏有多种形式
重复图片分到训练与测试、文件名直接包含答案、同一人的近似记录跨集合，都可能使评价虚高。不能仅靠随机分行就保证独立。
AI 可以协助检查字段，但应由学生指出什么信息在真实使用时可得。事后才出现的结果不能作为预测输入。
实验保留失败与范围
使用公开授权或自编非个人数据，记录划分、规则版本和每类错误。不要为追求高分挑掉困难样本。
本课是模型评价方法，不要求训练大型模型。课堂分类结果不能用于给同学贴标签、预测健康或决定重要机会。
把方法放进真实情景
把练习消息分为通知与广告
全部自编。训练4条：‘图书馆开放’通知、‘周五社团集合’通知、‘限时优惠’广告、‘优惠券领取’广告。先固定规则：正文含‘优惠’判广告，否则通知。测试6条：‘周五图书角带书’通知、‘优惠课程购一送一’广告、‘班级讨论优惠广告的危害’通知、‘购买课程立减十元’广告、‘图书馆周一闭馆’通知、‘今天优惠结束’广告。标签只用于评分，不作为输入。
- 先固定规则再看测试标签，逐条写预测。
- 通知误判1、广告漏判1，正确4/6；全部猜通知仅3/6。
- 若文件名带答案或测试重复训练文本，则重新划分独立集合，旧分数不再当未知表现。
可以得到的判断：指标须连同独立性和错例一起报告，测试后改规则需要新的独立测试。
适用范围：十条自编小样本不代表真实识别效果，也不能用于给同学分类。
先尝试再对话 · 展开六步自学方法
- 选材料，先写自己的尝试
每课都提供示例材料。先读案例，写出你已知什么、试过什么、卡在哪里；也可以换成获准使用的自己的材料。
- 复制本课提问，开始对话
把课内完整提问复制到符合年龄、地区和账号条件的AI。示例材料可直接使用，不必先准备教师资料或付费工具。
- 回答一个问题，再要一个提示
先回答AI的问题或完成一小步，说明你的理由。卡住时复制一条追问；AI一次给出全部答案时，要求退回当前步骤。
- 按本课检查表核验
对照原文、题目条件、计算或实际运行检查回答。AI无法说明依据时，标记待核验，不把它写成事实。
- 完成实践，留下自己的产物
按任务交出过程、作品或记录，并逐项对照完成标准。工具暂时不可用时，先用案例材料完成纸笔分析，补记未做的工具测试。
- 关闭AI，独立验收并复盘
做课内的新任务，写下结果后再展开对照标准。仍有错误就回到对应步骤；次日再解释一次，记录疑问和下一步。
先自己尝试，再与 AI 对话
开始本课的AI自学对话
下方提问包含本课示例，可以直接复制。使用自己的材料时先核对题目和条件；按工具的年龄、地区及资料授权条件使用。AI不按要求等待时，提醒它退回当前步骤。
继续追问
先回答当前问题，再按需要选一条追问。不要一次把所有追问都发出去。
- 第三句和第四句分别为何出错？
- 发现错例后修改关键词规则，下一次独立评价需要什么？
检查 AI 的回答
- 预测通知、广告、广告、通知、通知、广告；4/6正确
- 标签及含答案文件名不作输入，训练与测试重复需分组隔离
记录我的问题、判断与独立验收
这里的输入不会发送给第三方 AI。未保存的输入只在当前页面，离开前请下载或保存；记录默认属于本人，不公开展示。
当前页可直接练习。登录学生账号后，主动读取和保存自己的记录；公开讲授时请保持记录区收起。
亲手完成
本课实践
先手工评价本课固定规则，再用AI检查一个错例解释，保留六项完整表。提出一个改规则计划并声明需要新测试；可用已有环境实现，但手算与运行分别标注。
留下这些产物
- 四条训练与六条测试的固定划分
- 预测、真标签、两类错例与4/6计算
- 输入字段泄漏清单及下一轮计划
完成标准
- 通知误判1、广告漏判1，未删除困难样本
- 不会用标签、ad文件名或事后结果作输入
- 修改规则后原测试成为开发资料，不能继续冒称独立测试
独立验收
不用AI。新测试集10条，8条通知、2条广告。程序始终猜通知，输入字段另含人工真标签和正文。算准确率、广告识别比例，说明若利用真标签预测为何无效。
完成后展开对照标准
- 准确率8/10=80%，广告识别0/2=0%
- 真标签在实际未知消息中不可得，作为输入是答案泄漏
- 删除该输入并重新保留独立测试，不能由80%断言可靠
先写自己的结果再对照，记录“已尝试、仍有疑问、已独立完成”的真实状态。自查记录不等于教师认定或正式测验通过。
讲授与讨论提示
开场
展示本课独立题的‘80%但广告全漏’，听众先算分母。
现场示范
听众按本课六句逐条预测，用纸面或已有环境核4/6；再故意以真标签作输入展示无效100%，明确此为人工演示而非工具性能排名。
让听众自己判断
- 随机划分总是公平吗？
- 错误成本不同怎样报告？
离场任务
写一种泄漏和一种独立评价保护措施。