AI在带来便利性的同时,其深度伪造也为当事人带来了困扰。近期,雷军、靳东纷纷对此建言。
据人民日报消息,3月5日,在政协小组讨论上,全国政协委员靳东回应了AI换脸导致的诈骗问题。他说:“一些喜欢我影视剧的观众,被AI换脸视频骗得很惨,这个性质非常恶劣。希望能建立更好的规则。”
不仅仅是演员,一些企业家也经常被深度伪造。从去年国庆节开始,短视频平台涌现大量“雷军”发言视频。AI生成的“雷军”雷言雷语、荒诞不经,相关话题给雷军和小米造成了很大困扰和伤害。
对此,雷军在今年两会期间建议,加快单行法立法进程,在安全与发展并重的基础上提升立法位阶。强化行业自律共治,压实平台企业等各方的责任和义务。加大普法宣传的广度力度,增强民众的警惕性和鉴别力。
对于深度伪造事件频发,某短视频平台相关负责人表示,我们平台提倡创作者在发布相关内容时使用“作者声明”功能,对AI生成内容进行标注,不得发布含有侵犯他人合法权益及其他法律法规、平台规则禁止的内容,用户如发现相关违法违规内容可通过举报入口的相应举报类型进行举报。
另一短视频平台相关负责人表示,本平台会借助AIGC识别模型等相应技术,主动检测内容是否为AI生成,并结合人工识别进行判断,对判定为疑似AI生成的内容,平台会主动予以标注“疑似使用了AI生成技术,请谨慎甄别”。本平台禁止利用生成式人工智能技术创作发布违背科学常识、弄虚作假、造谣传谣的内容。一经发现,平台将严格处罚。
代表、委员谈“AI换脸拟声”治理,受害者雷军提了这些建议
全国人大代表、小米集团创始人、董事长兼CEO雷军:“AI换脸拟声”不当滥用成为违法侵权行为的重灾区,易引发侵犯肖像权、侵犯公民个人信息以及诈骗等犯罪行为,不利于构建“以人为本、智能向善”的人工智能发展生态。
建议加快单行法立法进程,在安全与发展并重的基础上提升立法位阶。强化行业自律共治,压实平台企业等各方的责任和义务。加大普法宣传的广度力度,增强民众的警惕性和鉴别力。
全国人大代表、TCL创始人、董事长李东生:随着生成式人工智能技术的发展,深度伪造技术也快速发展。对于防止AI深度伪造欺诈,建议:一是加快人工智能深度合成内容标识管理规章制度的出台。二是明确对人工智能深度合成服务商未履行标识义务的惩罚制度,完善未按要求进行标识的行为界定、分类细则,以及相应的处罚标准。三是加强深度合成内容标识技术标准和发布的管理,保证标识的有效性,对相关内容平台出台要求,用户在发布深度合成的视频、音频等内容时,有义务对其进行标识。四是加强国际合作,形成对人工智能深度合成内容的有效监管。
如何用人类智慧驾驭人工智能?专家:要建章立制、技术反制应对AI风险
瑞莱智慧联合创始人萧子豪:近些年来,假靳东、假雷军等AI换脸、拟声事件层出不穷,AI伪造内容越来越逼真且多元。这是AI技术发展带来的“副作用”。所有技术都存在两面性,都有“双刃剑”效应。如何用人类智慧驾驭人工智能,趋利避害地使用技术,是AI时代的重要课题。
数据治理与成果转化法律专家杨逢柱:通过AI合成名人音频和视频进行虚假宣传和诈骗的事件频频发生,原因主要有以下几方面:第一,AI训练模型的数据“被污染”,即数据掺杂虚假信息,经过循环传播后又被AI吸收,将其默认为真实信息;第二,技术局限性,在海量数据形成统计模型时容易丢失细节信息,或通过微调AI参数生成错误结果,如篡改图像欺骗人脸识别系统,或通过对抗训练生成逼真内容,如伪造名人代言视频; 第三,AI造假成本低而追责难度高,自媒体和商业竞争者为吸引流量,利用AI生成虚假信息加剧了信息污染,加上公众盲目信任AI生成的内容,进一步加剧了虚假信息的扩散。
瑞莱智慧联合创始人萧子豪:监管层面,应基于已发布的法律法规要求,制定生成合成类内容标识相关标准,为管理要求落地提供细化规则和实践指导。同时,强化平台主体责任。督促服务提供者落实主体责任,确保生成合成类内容质量,做好内容标识管理。此外,还要加强宣传教育。提高公众对生成合成类内容的认知和辨识能力,鼓励公众对生成合成类内容违规、标识违规等行为进行投诉举报,形成全社会齐抓共管的良好氛围。
技术层面,也应聚焦技术反制能力建设,加强构建伪造内容检测技术系统,这是掌握主动的关键。
数据治理与成果转化法律专家杨逢柱:对AI深度伪造治理,从监管方面,国家需尽快制定和完善对AI造假和虚假信息传播的法律法规,加大对科技企业和媒体平台的监管力度,明确造假者、平台方和传播者各方责任边界和处罚措施;从技术层面,开发先进的图像、音频和视频等分析工具,用于检测和识别造假信息,并对AI生成的信息采取加贴标识或嵌入水印等措施,提高内容的可信度和识别度;从行业/平台方面,强化数据管理和产品安全测试,内容发布平台要加强审核机制,验证信息的真实性,对虚假信息及时采取限制措施,避免循环传播。
数美科技AI研究院院长齐路:AI深度伪造包含AI修图、AI换脸、AI生成,要规范这块,一方面在备案、提供服务等阶段要落实《生成式人工智能服务安全基本要求》等标准,通过机审结合人审及时发现风险并快速处理,减少传播。另一方面要加强黑产行为识别,大力度打击黑产工具传播,从源头上减少AI深度伪造的出现。
网络安全研究专家彭根:对于深度伪造,政府层面已经有相应的要求和标准正在制定,例如要求在AI生成的内容上,不管是视频、音频,还是文字,都要添加相应的标识或者水印。其中视频和音频方面可能会出得更快一点,这样就能够解决一些伪造的问题。
平台企业谈如何用AI技术治理AI深度伪造
腾讯云天御风控技术专家:假明星现象是AI深度伪造技术滥用的典型案例。这对普通用户(尤其是对新技术判断能力较为有限的老年群体)来说,难以防范,因此必须依靠技术、平台以及法律法规共同发力,来遏制AI技术滥用于深度伪造。例如,加快顶层立法,建立AI风险的分级分类管理制度;要求AI生成内容必须添加可明确识别的水印或标识;细化平台、用户、内容提供方的责任和义务;政府和企业界为新的对抗技术提供应用土壤;推动AI生成内容技术标准,助力监管。
某平台相关负责人:AI生成内容的识别和治理是全行业面临的挑战。
目前,AI生成内容越来越逼真,而不同AI工具生成的内容跨平台传播,也为识别带来了难度。
2023年和2024年,平台先后发布相关倡议和公告,明确平台不鼓励利用AI生成虚拟人物进行低质创作。
目前,我们平台会对疑似AI生成内容对外显示“AI标识”。
此外,我们正不断提升识别能力。平台会借助AIGC识别模型等相应技术,主动检测内容是否为AI生成,并结合人工识别进行判断,对判定为疑似AI生成的内容,平台会主动予以标注“疑似使用了AI生成技术,请谨慎甄别”。
平台也会及时受理用户关于AI生成内容问题的举报,禁止利用生成式人工智能技术创作发布侵权内容,包括但不限于肖像权、知识产权等。
同时,平台禁止利用生成式人工智能技术创作发布违背科学常识、弄虚作假、造谣传谣的内容。一经发现,平台将严格处罚。
B站:对AI深度伪造,B站在此重申此前关于“AI换脸”平台治理规则。
2019年9月5日B站曾发布公告称,“AI换脸”技术仍具有一定风险与争议性,为维护社区良好创作生态,即日起,对于此类内容将不予推荐,同时禁止排行榜和热门位置的展示。
2021年,B站又发布说明称,始终保持对“AI换脸”相关内容的关注和管控,社区将遵守相关法律法规要求,对该类稿件标识进行升级。升级后,该类内容上方会出现 “该视频疑似使用智能合成技术,请谨慎识别”的显著标识,以便用户甄别,防止产生误解,侵害他人权益。
新京报贝壳财经记者 罗亦丹 陈维城 韦英姿
编辑 岳彩周
校对 杨许丽 付春愔