小熊猫配资 AI入侵双11：1张照片1分钟人声就可一键换脸，抖音淘宝将重点打击

刚刚落幕的“双11”，在一片喜庆的战报中，却难掩一种新问题带来的乱象：不法商家利用AI换脸、AI换声技术仿冒公众人物进行直播带货，误导消费者，引发社会不满。

AI算法专家表示，随着多模态大模型的迭代，AI伪造技术门槛正逐步降低，仅需1张清晰照片和1分钟声音样本就能很快生成AI换脸视频。

“AI换脸”触及红线

近日，网信部门公告，由于利用AI技术仿冒公众人物形象，在直播、短视频等环节发布营销信息，误导网民，涉嫌虚假宣传和网络侵权，“百货超市小店”“娜娜好物联盟”“环球护肤美妆甄选”等一批违法违规网络账号被严厉处置。目前已累计清理相关违规信息8700余条，处置仿冒公众人物账号1.1万余个。

新华社图表，北京，2025年4月26日运营公司将他人创作的短视频作品作为“AI换脸”素材模板展示，提供给用户制作“换脸视频”，最终被判处赔偿经济损失及维权合理支出。

这一公告也反映出，今年“双11”期间，AI伪造问题尤为突出。

前不久，演员温峥嵘自曝遭遇AI换脸直播间欺诈，还有直播间利用AI仿冒奥运冠军全红婵的声音卖土鸡蛋，孙颖莎、王楚钦等运动员的声音也被“克隆”用来带货。

记者从抖音电商获悉，近期在日常巡查中，发现部分商家和达人在未取得授权情况下，剪辑视频、拼贴文字信息，或利用AI、特效仿冒名人进行带货营销，误导消费者，扰乱平台正常交易秩序。

其中，有三类AI伪造内容恶意营销尤为典型：

1、少数商家利用AI技术生成虚假商品展示、夸大不实的功能宣传内容，误导消费者购买小熊猫配资，造成用户财产损失。

2、利用AI生成虚拟人物冒充真实身份，冠以权威专家、名人的虚假人设进行带货，损害消费者信任，违规变现。

3、在商品详情页、直播间使用AI生成的虚构测评、编造使用体验，刻意制造虚假口碑，影响消费者理性判断。

“一旦触及红线，平台将依规针对涉事达人中断其直播，下架违规视频及商品，关闭相关账号商品分享权限、冻结成交金额等。”抖音电商再次重申，平台严禁商家和达人使用AI技术仿冒虚拟人物或社会名人（包括军警等特定身份），进行虚假宣传和带货营销。

此外，淘宝也宣布，即日起平台开展为期1个月的专项治理行动，其中将重点打击利用AI合成明星形象带货等行为。

门槛大幅降低

早在2017年，黑客“deepfake”利用AI技术将美国女演员的脸部“移植”到其他影片中，引发广泛争议。这也是AI深度伪造技术第一次进入公众视野。

时至今日，AI换脸和AI换声技术不再只是黑客们的专属，当前网络中充斥着大量使用AI合成的虚拟图像和视频，存在巨大的安全隐患。

“早期的AI换脸，主要是以GAN（生成对抗网络）为主，随着多模态模型技术的成熟，AI换脸转向更多采用自回归模型、扩散模型等生成方案。”蚂蚁集团AI身份智能算法专家刘菁菁表示，特别是FaceFusion、DeepFaceLab等开源项目，以及大模型公司API服务逐步成熟，AI换脸的技术门槛显著降低。哪怕是一个普通人，无需深入理解算法原理，只需按照指引准备数据并执行脚本，即可在短时间内完成声音和人脸的合成。

“多数AI伪造工具已高度流程化和自动化，无需深入理解算法原理，通常只需准备清晰的目标人脸图像或约1分钟的人声样本，上传至工具平台并输入所需文本，即可在几分钟内生成逼真内容。”刘菁菁告诉记者，目前市面上已出现多种“一键生成”类工具，AI换脸等技术甚至出现了灰色产业化应用的苗头，需引起行业与监管机构的持续关注。

值得注意的是，当前大模型正快速进步，AI换脸等技术也随之升级迭代。

为规避检测，新型AI伪造手段能实现“对抗性攻击”，即在生成内容中嵌入人眼难以察觉的噪声，专门用于欺骗特定的检测模型，使其将其判断为“真实”，同时还能对生成内容进行压缩、加噪、调色等后处理，以抹去生成痕迹，增加检测难度。

另外，AI多模态融合的能力，使得AI伪造不仅替换脸和声音，还同步生成对应的身体动作和场景，使得伪造内容在整体上更协调，让人难辨真伪。

搭建多级治理体系

“AI伪造内容并非完美，现在的技术仍可能暴露瑕疵。”刘菁菁列举了几处典型的漏洞，比如手指数量异常、面部五官不对称、眼球转动不自然、口型与语音内容不匹配。或者是物理光照不一致，比如人物阴影与光源方向矛盾。还有主体和背景边界虚化畸变，人脸与头发、颈部、背景的融合处存在模糊、扭曲或颜色断层等情况，都是普通消费者辨别AI换脸等伪造内容的“秘诀”。

除了“人眼识别”外，“用AI检测AI”正成为当前行业主流选择。AI检测能捕捉人眼难以察觉的像素级异常和频谱特征，效率高于人工判断。不过，AI检测也面临诸多问题，包括模型泛化能力不足、易受对抗攻击干扰、误报率较高、算力成本较高以及高质量训练数据稀缺等。

又一个“双十一”到来，各地电商、物流等相关企业全力运转，应对网购物流高峰。\n 新华社发（梁孝鹏摄）