用AI写报告漏洞百出，大量内容“胡编乱造”！德勤向澳洲政府退钱

转自公众号：今日悉尼sydtoday

《澳洲金融评论报》报道称，德勤为澳洲政府撰写报告时使用了生成式AI，而AI则在报告中引用了根本不存在的信息源，同时捏造了联邦法院的判词。

澳洲政府为这份报告向德勤支付了44万澳元，事件曝光后，德勤已退还部分费用。

报道称，该报告由德勤为工作场所关系部（Department of Workplace Relations，DEWR）撰写，具体内容为福利系统中自动执行处罚（如暂停失业救济金），首个版本于7月对外公布。

不到1个月后，德勤就被迫展开内部调查，因为悉尼大学的学者Christopher Rudge在该报告中发现了多个错误。

Rudge一开始便猜测，报告中的错误是由“AI错觉”所导致的——因为很多引用都是捏造的，德勤当时拒绝对此作出回应。

而在上周五，修改后的报告被重新上传至工作场所关系部的官网。新版报告删除了10多条不存在的引用和注释，重写了参考文献列表，并更正了多个排版错误。

（图片来源：《澳洲金融评论报》）

《澳洲金融评论报》报道称，这一事件令德勤颇为尴尬，在该公司每年1070亿澳元的收入中，为客户和高管提供AI咨询与培训的比例越来越大。

德勤曾宣称，会在全球业务中广泛使用AI技术，但始终由人类对AI输出进行审查。

新版本报告在方法论部分承认，生成式AI被用于公司所谓的“可追溯性和文档缺口”环节。

报告现在指出，公司使用了“由DEWR授权并托管在DEWR Azure上的生成式AI语言大模型（Azure OpenAI GPT-4o）工具链”。

Christopher Rudge最早发现了报告中的错误（图片来源：《澳洲金融评论报》）

这一披露再加上已删除错误，使得Rudge得出结论，初版报告的问题源于AI错觉。

Rudge表示：“这不再只是一个‘假设’，德勤已就此事坦白——尽管埋在方法论部分。德勤承认在关键分析任务中使用了生成式AI，但一开始却没有披露这一点。”

这位学者表示，报告的建议已不再可信，因为“核心分析是由AI完成的”。

“当报告的根基建立在一个有缺陷、最初未披露、且缺乏专家参与的方法之上时，你无法信任它的建议。”

德勤在新版报告中删除了大量不存在的信息源（图片来源：《澳洲金融评论报》）

工作场所关系部发言人表示，“独立审查的实质内容被保留，建议没有变化”，但他拒绝回答该部门是否认为这些错误是由AI造成的。

发言人称，德勤已“同意退还合同的最后一笔款项”，但拒绝透露具体金额。

在被问及工作场所关系部是否会继续聘用德勤进行其他工作，或是否会要求全额退款时，发言人也拒绝回应。

自2021年以来，德勤澳洲已与工作场所关系部签订了近2500万澳元的合同。

相关阅读：

“一本正经胡说八道”：AI幻觉到底有多可怕？