刚刚落幕的“双11”，在一片喜庆的战报中，却难掩一种新问题带来的乱象：不法商家利用AI换脸、AI换声技术仿冒公众人物进行直播带货，误导消费者，引发社会不满。

　　AI算法专家表示，随着多模态大模型的迭代，AI伪造技术门槛正逐步降低，仅需1张清晰照片和1分钟声音样本就能很快生成AI换脸视频。

　　“AI换脸”触及红线

　　近日，网信部门公告，由于利用AI技术仿冒公众人物形象，在直播、短视频等环节发布营销信息，误导网民，涉嫌虚假宣传和网络侵权，“百货超市小店”“娜娜好物联盟”“环球护肤美妆甄选”等一批违法违规网络账号被严厉处置。目前已累计清理相关违规信息8700余条，处置仿冒公众人物账号1.1万余个。

　　这一公告也反映出，今年“双11”期间，AI伪造问题尤为突出。

　　前不久，演员温峥嵘自曝遭遇AI换脸直播间欺诈，还有直播间利用AI仿冒奥运冠军全红婵的声音卖土鸡蛋，孙颖莎、王楚钦等运动员的声音也被“克隆”用来带货。

　　记者从抖音电商获悉，近期在日常巡查中，发现部分商家和达人在未取得授权情况下，剪辑视频、拼贴文字信息，或利用AI、特效仿冒名人进行带货营销，误导消费者，扰乱平台正常交易秩序。

　　其中，有三类AI伪造内容恶意营销尤为典型：

　　1、少数商家利用AI技术生成虚假商品展示、夸大不实的功能宣传内容，误导消费者购买，造成用户财产损失。

　　2、利用AI生成虚拟人物冒充真实身份，冠以权威专家、名人的虚假人设进行带货，损害消费者信任，违规变现。

　　3、在商品详情页、直播间使用AI生成的虚构测评、编造使用体验，刻意制造虚假口碑，影响消费者理性判断。

　　“一旦触及红线，平台将依规针对涉事达人中断其直播，下架违规视频及商品，关闭相关账号商品分享权限、冻结成交金额等。”抖音电商再次重申，平台严禁商家和达人使用AI技术仿冒虚拟人物或社会名人（包括军警等特定身份），进行虚假宣传和带货营销。

　　此外，淘宝也宣布，即日起平台开展为期1个月的专项治理行动，其中将重点打击利用AI合成明星形象带货等行为。

　　门槛大幅降低

　　早在2017年，黑客“deepfake”利用AI技术将美国女演员的脸部“移植”到其他影片中，引发广泛争议。这也是AI深度伪造技术第一次进入公众视野。

　　时至今日，AI换脸和AI换声技术不再只是黑客们的专属，当前网络中充斥着大量使用AI合成的虚拟图像和视频，存在巨大的安全隐患。

　　“早期的AI换脸，主要是以GAN（生成对抗网络）为主，随着多模态模型技术的成熟，AI换脸转向更多采用自回归模型、扩散模型等生成方案。”蚂蚁集团AI身份智能算法专家刘菁菁表示，特别是FaceFusion、DeepFaceLab等开源项目，以及大模型公司API服务逐步成熟，AI换脸的技术门槛显著降低。哪怕是一个普通人，无需深入理解算法原理，只需按照指引准备数据并执行脚本，即可在短时间内完成声音和人脸的合成。

　　“多数AI伪造工具已高度流程化和自动化，无需深入理解算法原理，通常只需准备清晰的目标人脸图像或约1分钟的人声样本，上传至工具平台并输入所需文本，即可在几分钟内生成逼真内容。”刘菁菁告诉记者，目前市面上已出现多种“一键生成”类工具，AI换脸等技术甚至出现了灰色产业化应用的苗头，需引起行业与监管机构的持续关注。

　　值得注意的是，当前大模型正快速进步，AI换脸等技术也随之升级迭代。

　　为规避检测，新型AI伪造手段能实现“对抗性攻击”，即在生成内容中嵌入人眼难以察觉的噪声，专门用于欺骗特定的检测模型，使其将其判断为“真实”，同时还能对生成内容进行压缩、加噪、调色等后处理，以抹去生成痕迹，增加检测难度。

　　另外，AI多模态融合的能力，使得AI伪造不仅替换脸和声音，还同步生成对应的身体动作和场景，使得伪造内容在整体上更协调，让人难辨真伪。

　　搭建多级治理体系

　　“AI伪造内容并非完美，现在的技术仍可能暴露瑕疵。”刘菁菁列举了几处典型的漏洞，比如手指数量异常、面部五官不对称、眼球转动不自然、口型与语音内容不匹配。或者是物理光照不一致，比如人物阴影与光源方向矛盾。还有主体和背景边界虚化畸变，人脸与头发、颈部、背景的融合处存在模糊、扭曲或颜色断层等情况，都是普通消费者辨别AI换脸等伪造内容的“秘诀”。

　　除了“人眼识别”外，“用AI检测AI”正成为当前行业主流选择。AI检测能捕捉人眼难以察觉的像素级异常和频谱特征，效率高于人工判断。不过，AI检测也面临诸多问题，包括模型泛化能力不足、易受对抗攻击干扰、误报率较高、算力成本较高以及高质量训练数据稀缺等。

　　针对AI伪造技术滥用问题，我国陆续出台多项治理措施，正逐步建立起一套应对“黑天鹅”级别AI风险的能力体系。

　　9月1日施行的《人工智能生成合成内容标识办法》明确要求，人工智能生成合成的内容应当添加显式标识或者隐式标识，对于遏制人工智能滥用具有积极作用。

　　与此同时，《人工智能安全治理框架》也升级至2.0版。相较于1.0版本，新版框架新增“可信应用、防范失控”原则，确保人工智能技术演进是安全、可靠、可控的，严防出现威胁人类生存发展的失控风险，让AI始终处于人类控制之下。

　　“监管不再是事后的合规审查，而是前置到研发环节，覆盖数据标注、模型架构、训练方法和开源传播等关键节点。”上海人工智能实验室安全可信AI中心研究员王迎春表示，加强针对开源模型的治理，意味着未来可逐步建立对“模型全生命周期”的追溯机制与责任链条。

　　目前，抖音、淘宝等电商平台正加强AI内容审核机制，监管部门也将持续压实网站平台主体责任，对利用AI仿冒公众人物开展直播营销问题保持高压严管态势，对相关恶意营销账号发现一批、处置一批、曝光一批，维护良好网络生态。

（文章来源：上观新闻）