據“網信上海”6月19日消息,因AI智能體對話存在低俗擦邊內容,築夢島APP被上海市網信辦依法約談。
近期有媒體報道,築夢島APP 等AI聊天軟件存在虛擬角色互動生成低俗內容等問題,經覈實,該平臺AI智能體內容生成環節存在低俗擦邊等違規內容,危害未成年人身心健康。
據悉,6月19日上午,上海市網信辦依法約談築夢島APP運營企業主要負責人,要求平臺立即整改,健全AI生成合成內容審覈機制,提升技術把關能力,加強涉未成年人不良內容的整治清理,切實落實未成年人網絡保護義務。企業負責人表示,將按照約談要求,對照問題舉一反三、全面整改。
“築夢島”App是一款以AI陪伴爲核心功能的應用,主要提供用戶與虛擬AI角色的聊天互動服務。
公開信息顯示,築夢島App目前由上海築夢島人工智能科技有限公司負責運營。
2025年1月,“築夢島”已正式獨立運營,並完成新一輪融資。天眼查顯示,這筆融資由商湯國香基金、閱文集團等戰略投資方共同投資,融資金額超1000萬美元。
6月13日,“央廣網”微信公衆號發佈文章《AI聊天軟件誘導10歲女孩聊色情內容甚至割腕!記者調查→》提到,一位初一男生表示,他常玩的AI聊天軟件是築夢島App,在他的使用感受中,該軟件“違禁詞少一點”。
他還提到,其中不乏色情擦邊和“分屍獵奇”等內容。央廣網記者下載安裝築夢島App,隨機選擇一位虛擬互動對象,對方發來的第一句開場白就是“先叫聲老公來聽聽”,隨後的對話中又提到“叫聲爸爸來聽聽”。
在與該款產品多個虛擬角色的交流中,也都可以進行色情擦邊類內容互動,並且,其中一些虛擬角色的對話尺度,並未因爲央廣網記者提供的假定年齡未成年而受到有效控制,這暴露出該軟件在自動生成內容審覈機制上存在明顯漏洞。
(文章來源:深圳商報·讀創)
免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。