“三只羊卢某”录音系大模型伪造，涉事公司称会加强产品安全

·涉事AI公司深圳市言域科技有限公司确认其AI配音平台被用于生成该录音，正加强产品安全措施。

9月26日晚，合肥警方通报称，9月20日接到三只羊公司报警，称网上传播的涉卢某某音视频不实，严重侵害其合法权益。经过侦查，9月22日晚将犯罪嫌疑人王某某（男，25岁）抓获，并在其电脑、手机和制作AI音频的网站中发现伪造相关音视频的证据。经鉴定，认定网传音视频系伪造。

警情通报

此前，网络上流传的这段录音显示为“三只羊”卢某某在酒后发表的一段言论，内容牵连公司旗下多位女主播，展现出他对市场与消费者的傲慢态度，以及对相关人士的不尊重。这段录音曾为深陷虚假宣传风波的“三只羊”公司招致了更多的批评。

一时之间，由录音伪造引起的AI安全问题引发讨论。

9月27日，深圳市言域科技有限公司创始人谢伟铎在接受澎湃科技(www.thepaper.cn)采访时表示，网传的涉卢某某录音确系嫌疑人使用该公司自主研发的AI配音大模型平台生成。嫌疑人利用卢某此前直播片段约30秒的录音进行声音克隆，并通过文本生成了虚假音频。

涉事公司声明

谢伟铎称，公司高度重视此事，已启动内部审核机制，进一步加强产品的安全管控措施。在不涉及用户隐私的情况下，将通过技术手段部署包括但不限于强化实名认证、敏感词侦测预警、高危内容拦截、可溯源音频水印等措施，确保技术的合法合规应用。他表示，公司坚决反对任何不正当方式使用产品进行违法或不当行为，正配合警方调查。

此次风波中，提供AI技术的公司是否需要承担法律责任？上海大邦律师事务所高级合伙人游云庭指出，这取决于平台是否履行了合规义务。根据《互联网信息服务深度合成管理规定》，如果平台履行了相应的合规责任，其法律风险会较小，否则可能面临麻烦。

游云庭表示，首先，平台需要进行算法备案，并确保实际运行的算法与备案一致。其次，平台应对用户身份进行认证，如果未认证就提供服务，可能存在法律风险。此外，平台应明确提示用户不得利用平台服务进行违法行为。

ReechoAI睿声官网显示，其是由深圳市言域科技有限公司提供的AI语音大模型技术产品及AI有声内容社区。澎湃科技记者在互联网信息服务算法系统查询，“深圳市言域科技有限公司”暂无相关算法备案记录。另外，其关联主体“深圳市呦络科技有限公司”也无备案记录。

针对无备案记录这点，谢伟铎称，备案这块目前在积极推进，“因为我们今年八月份左右才正式在线下开始运营”。

人工智能飞速发展的同时，AI安全问题不容忽视。近年来，由“AI换脸”“AI音频”合成导致的诈骗案件频繁引发关注。2024年美国大选期间，AI曾冒充美国总统拜登给选民打电话。2024年2月，香港发生一起涉案金额高达2亿港元的诈骗案，犯罪嫌疑人正是使用Deepfake技术“AI换脸”和AI音频合成，伪造了一场“高管会议”。

谢伟铎称，当前AI语音技术已达到人耳甚至传统鉴定方案难以区分的程度，包括各种情绪、口音、发音习惯、方言等都可以高度还原，并且能够高细粒度地理解文本，生成最匹配的声音。

此前，三只羊网络科技有限公司因直播带货“香港美诚月饼”等事件涉嫌虚假宣传、欺骗消费者等问题，引发舆论风波。合肥市联合调查组9月26日通报，拟对三只羊公司罚没共计6894.91万元。三只羊公司随后发表道歉声明，表示全面接受处罚，愿承担相关法律责任。抖音平台也自9月21日起对“三只羊”旗下账号进行停播处理，敦促其积极整改，妥善解决消费者的售后赔付事宜。