第5章 反诈AI原型,首次测试(1/2)
“所有设备调试完毕,模拟诈骗电话数据集已加载,包含公检法办案、低息贷款、中奖兑换三类高频场景,共1000条测试样本。”
周晓彤额前的碎发被汗水濡湿,贴在光洁的额头上。
她面前的屏幕分成两栏,左侧是模拟来电的语音流,右侧是AI实时分析结果,LSTM模型的输出数据每秒刷新一次。
“启动测试。”
我话音刚落,周晓彤按下了启动键。
实验室里瞬间安静下来,只剩下设备运行的轻微嗡鸣和模拟来电的语音播报。
第一条测试样本是“公检法办案”场景:“您好,这里是市公安局经侦大队,您的银行账户涉嫌洗钱犯罪,请立即将资金转入安全监管账户……”
屏幕右侧实时跳动着分析结果:“关键词匹配:公检法办案(权重85%)、涉嫌犯罪(权重79%)、转账(权重92%);
语气特征:急促(置信度88%)、威胁(置信度91%);
综合判定:诈骗电话(置信度93%)”
“识别成功!”
小陈低声欢呼。
周晓彤紧绷的脸上露出一丝笑意。
接下来的十几条测试样本都顺利通过,低息贷款、中奖兑换等场景的识别准确率基本稳定在85%以上。
张雪薇在笔记本上快速记录,“照这个趋势,准确率突破90%没问题。”
第23条测试样本模拟来电是保险推销:“您好,请问您近期有购买重疾险的需求吗?我们公司推出一款新产品,缴费低、保额高,现在办理还能享受额外福利……”
屏幕上的分析结果显示:“关键词匹配:福利(权重62%)、办理(权重58%);
语气特征:讨好(置信度76%)、急促(置信度69%);
综合判定:诈骗电话(置信度71%)”
“误判了!”
老李猛地拍了下桌子,“这明明是正常推销,怎么会判定成诈骗?”
两个小时后,测试结束。
屏幕上显示最终数据:模拟诈骗电话识别准确率78%,误判率高达15%,其中80%的误判来自正常推销、服务类电话。
“78%……”
张雪薇的脸色沉了下来,合上笔记本。
“刘总,这个结果离市场推广的要求差太远了。红杉那边明确表示,准确率至少要达到90%才会考虑投资,而且我们和广州公安约定的试点测试时间只剩1个月了,现在这个状态,根本没法推进。”
老李揉了揉太阳穴,语气急躁:“问题出在算法上!现在的模型只看词汇和语气,正常推销和诈骗电话的特征太像了,都是频繁用‘福利’‘办理’‘转账’这些词,语气要么讨好要么急促,AI根本分不清。我建议加大训练数据量,把推销电话和诈骗电话的特征做更细致的区分。”
“不行,时间来不及了。”
周晓彤突然开口,,“现在离试点测试只有1个月,重新收集、标注大量数据至少需要2个月,而且就算数据量上去了,词汇和语气的本质相似度还在,误判问题还是解决不了。”
“那你说怎么办?”
本章未完,点击下一页继续阅读。