啱啱落幕的「雙11」，在一片喜慶的戰報中，卻難掩一種新問題帶來的亂象：不法商家利用AI換臉、AI換聲技術仿冒公衆人物進行直播帶貨，誤導消費者，引發社會不滿。

　　AI算法專家表示，隨着多模態大模型的迭代，AI僞造技術門檻正逐步降低，僅需1張清晰照片和1分鐘聲音樣本就能很快生成AI換臉視頻。

　　「AI換臉」觸及紅線

　　近日，網信部門公告，由於利用AI技術仿冒公衆人物形象，在直播、短視頻等環節發布營銷信息，誤導網民，涉嫌虛假宣傳和網絡侵權，「百貨超市小店」「娜娜好物聯盟」「環球護膚美妝甄選」等一批違法違規網絡賬號被嚴厲處置。目前已累計清理相關違規信息8700餘條，處置仿冒公衆人物賬號1.1萬餘個。

　　這一公告也反映出，今年「雙11」期間，AI僞造問題尤為突出。

　　前不久，演員溫崢嶸自曝遭遇AI換臉直播間欺詐，還有直播間利用AI仿冒奧運冠軍全紅嬋的聲音賣土雞蛋，孫穎莎、王楚欽等運動員的聲音也被「克隆」用來帶貨。

　　記者從抖音電商獲悉，近期在日常巡查中，發現部分商家和達人在未取得授權情況下，剪輯視頻、拼貼文字信息，或利用AI、特效仿冒名人進行帶貨營銷，誤導消費者，擾亂平台正常交易秩序。

　　其中，有三類AI僞造內容惡意營銷尤為典型：

　　1、少數商家利用AI技術生成虛假商品展示、誇大不實的功能宣傳內容，誤導消費者購買，造成用戶財產損失。

　　2、利用AI生成虛擬人物冒充真實身份，冠以權威專家、名人的虛假人設進行帶貨，損害消費者信任，違規變現。

　　3、在商品詳情頁、直播間使用AI生成的虛構測評、編造使用體驗，刻意製造虛假口碑，影響消費者理性判斷。

　　「一旦觸及紅線，平台將依規針對涉事達人中斷其直播，下架違規視頻及商品，關閉相關賬號商品分享權限、凍結成交金額等。」抖音電商再次重申，平台嚴禁商家和達人使用AI技術仿冒虛擬人物或社會名人（包括軍警等特定身份），進行虛假宣傳和帶貨營銷。

　　此外，淘寶也宣佈，即日起平台開展為期1個月的專項治理行動，其中將重點打擊利用AI合成明星形象帶貨等行為。

　　門檻大幅降低

　　早在2017年，黑客「deepfake」利用AI技術將美國女演員的臉部「移植」到其他影片中，引發廣泛爭議。這也是AI深度僞造技術第一次進入公衆視野。

　　時至今日，AI換臉和AI換聲技術不再只是黑客們的專屬，當前網絡中充斥着大量使用AI合成的虛擬圖像和視頻，存在巨大的安全隱患。

　　「早期的AI換臉，主要是以GAN（生成對抗網絡）為主，隨着多模態模型技術的成熟，AI換臉轉向更多采用自迴歸模型、擴散模型等生成方案。」螞蟻集團AI身份智能算法專家劉菁菁表示，特別是FaceFusion、DeepFaceLab等開源項目，以及大模型公司API服務逐步成熟，AI換臉的技術門檻顯著降低。哪怕是一個普通人，無需深入理解算法原理，只需按照指引準備數據並執行腳本，即可在短時間內完成聲音和人臉的合成。

　　「多數AI僞造工具已高度流程化和自動化，無需深入理解算法原理，通常只需準備清晰的目標人臉圖像或約1分鐘的人聲樣本，上傳至工具平台並輸入所需文本，即可在幾分鐘內生成逼真內容。」劉菁菁告訴記者，目前市面上已出現多種「一鍵生成」類工具，AI換臉等技術甚至出現了灰色產業化應用的苗頭，需引起行業與監管機構的持續關注。

　　值得注意的是，當前大模型正快速進步，AI換臉等技術也隨之升級迭代。

　　為規避檢測，新型AI僞造手段能實現「對抗性攻擊」，即在生成內容中嵌入人眼難以察覺的噪聲，專門用於欺騙特定的檢測模型，使其將其判斷為「真實」，同時還能對生成內容進行壓縮、加噪、調色等後處理，以抹去生成痕跡，增加檢測難度。

　　另外，AI多模態融合的能力，使得AI僞造不僅替換臉和聲音，還同步生成對應的身體動作和場景，使得僞造內容在整體上更協調，讓人難辨真僞。

　　搭建多級治理體系

　　「AI僞造內容並非完美，現在的技術仍可能暴露瑕疵。」劉菁菁列舉了幾處典型的漏洞，比如手指數量異常、面部五官不對稱、眼球轉動不自然、口型與語音內容不匹配。或者是物理光照不一致，比如人物陰影與光源方向矛盾。還有主體和背景邊界虛化畸變，人臉與頭髮、頸部、背景的融合處存在模糊、扭曲或顏色斷層等情況，都是普通消費者辨別AI換臉等僞造內容的「祕訣」。

　　除了「人眼識別」外，「用AI檢測AI」正成為當前行業主流選擇。AI檢測能捕捉人眼難以察覺的像素級異常和頻譜特徵，效率高於人工判斷。不過，AI檢測也面臨諸多問題，包括模型泛化能力不足、易受對抗攻擊干擾、誤報率較高、算力成本較高以及高質量訓練數據稀缺等。

　　針對AI僞造技術濫用問題，我國陸續出台多項治理措施，正逐步建立起一套應對「黑天鵝」級別AI風險的能力體系。

　　9月1日施行的《人工智能生成合成內容標識辦法》明確要求，人工智能生成合成的內容應當添加顯式標識或者隱式標識，對於遏制人工智能濫用具有積極作用。

　　與此同時，《人工智能安全治理框架》也升級至2.0版。相較於1.0版本，新版框架新增「可信應用、防範失控」原則，確保人工智能技術演進是安全、可靠、可控的，嚴防出現威脅人類生存發展的失控風險，讓AI始終處於人類控制之下。

　　「監管不再是事後的合規審查，而是前置到研發環節，覆蓋數據標註、模型架構、訓練方法和開源傳播等關鍵節點。」上海人工智能實驗室安全可信AI中心研究員王迎春表示，加強針對開源模型的治理，意味着未來可逐步建立對「模型全生命周期」的追溯機制與責任鏈條。

　　目前，抖音、淘寶等電商平台正加強AI內容審核機制，監管部門也將持續壓實網站平台主體責任，對利用AI仿冒公衆人物開展直播營銷問題保持高壓嚴管態勢，對相關惡意營銷賬號發現一批、處置一批、曝光一批，維護良好網絡生態。

（文章來源：上觀新聞）