法治号
近期，AI数字人“苦命男孩小海”卖惨带货、演员吴越遭AI换脸拟声仿冒带货等事件接连引发关注。两起事件共同指向同一问题：当AI技术被用于虚假营销、情感操控和商业牟利，究竟谁应为此承担责任？
为此，AI技术、传媒、法律、网络治理与舆情领域的专家学者共同参加“濠水沙龙”闭门会议，围绕“AI‘作恶’，谁之过”主题，以上述两起案例为切入点，从技术发展与失控、传播生态与机制、法律责任与社会治理等层面展开探讨，以厘清AI乱象背后的责任链条，寻找技术应用与社会治理之间的平衡。研讨达成以下基本共识。
技术造假门槛持续降低
内容鉴伪迎来新考验
随着技术发展，当前借助AI工具，普通用户能在较短时间内生成批量带货视频，制作成本大幅降低。像素级的检测虽然可以识别合成痕迹，但技术手段无法判定一个哭着喊“姨姨妈妈”的少年，其悲情叙事是否合规合法。也就是说，如何识别内容层面的虚假叙事，正成为新的难题。当造假者持续运维一个拥有完整故事线和连贯人设的“可信叙事”时，现有的技术鉴伪手段几乎无从下手。
（AI数字人“小海”的视频截图）
专家指出，隐形水印、数字溯源等技术能够为生成内容的来源识别提供支持，但在内容经历多次转发、剪辑和二次加工后，甚至被AI技术强制消除水印后，如何实现AI生成内容的全链条追踪仍面临现实挑战。
如果想破解这些鉴定难题，AI鉴伪技术应从识别视觉层面的异常，进一步延伸至对内容语义、叙事逻辑和信息真实性的综合判断，平台也可通过深挖账号运营者发布行为模式及互动引流异动等，及时识别违规风险并提前介入处置。
流量变现链条环环相扣
各环节责任不容悬置
技术降低了虚假内容的生产成本，平台传播机制和商业利益则进一步放大了其影响。研讨认为，AI数字人虚假营销并非单纯的技术滥用，其背后往往存在内容制作、账号运营、流量获取和商品销售等多个环节。虚拟人物的塑造只是起点，持续运营、精准触达和商业变现才构成完整的利益链条。
“小海”通过亲昵称呼、悲惨身世和高频情感回应，激发部分中老年用户的同情与保护欲。AI仿冒名人带货则借助公众对明星的信任制造虚假的商品推荐。两类行为虽然表现不同，却都利用用户的情感需求和身份信任完成商业转化。因此，治理不能只关注视频是否由AI生成，还应深入调查背后的运营主体、机构化生产模式及其利益关系，不能让真正的获利者隐身于技术工具之后。
（央视新闻报道截图）
同时，网络上还存在大量利用AI技术合成的明星或名人音视频（如李玫瑾、白岩松、高晓松、马未都等），用于解读时事热点、为鸡汤爽文配音等，虽未直接用于带货，却依然使人难辨真假，给当事人也带来极大困扰。但由于维权成本过高、消耗精力过多，维权所获得收益较少，当事人多处于放任状态。这样不仅无助于新媒体生态的健康发展，更会对公众认知和公共信任带来负面影响。
平台责任也是讨论重点。现行规则下，平台的责任触发多依赖于“投诉—通知—删除”机制与事后处置。有专家指出，仅依赖用户举报、事后下架和封禁账号，难以有效阻断虚假内容的持续复制。特别是对于具备商业推广属性的数字人，应强制要求披露AI生成标识并建立实时虚假宣传监测机制。此外，面对矩阵账号批量发布、内容高度同质、异常互动和引流带货等现象，平台应发挥大数据和技术优势，加强异常行为识别与风险预警，将审核关口前移。
标识规范并非免责护身符
法律惩处应厘清各方责任
《人工智能生成合成内容标识办法》已经正式施行，对AI生成合成内容的显性标识和隐性标识作出明确规范。但目前各平台仍有大量未标识内容在传播，而平台加注的疑似AI内容标签提醒，对于众多网民而言，并非都能关注到或者理解其意义。例如，讨论案例中“小海”部分视频虽然带有AI生成标识，但仍有用户相信其虚构的悲惨身世。目前来看，AI标识虽然提高生成内容的透明性，却无法替代对内容真实性的实质判断，更不能成为运营者免责的挡箭牌。
从法律层面看，AI本身并非承担法律责任的主体，责任认定仍应聚焦实际运营者、经营者等相关主体。与此同时，侵权主体分散、证据留存困难、维权成本较高等问题，也增加了受害者依法维权的难度。所以，有关治理既要明确技术提供方和实际运营者的责任，也要进一步厘清平台在内容审核、风险处置和商业推广中的义务。对于涉及多方参与的AI营销链条，应根据各主体的实际行为和过错程度划分责任，避免将责任简单归结于技术工具或某一个环节。
专家建议，当前应重点整治商业利益驱动、组织化特征明显、已形成相对完整黑灰产业链条的AI内容生成并用于虚假带货的乱象，通过典型个案发挥警示和震慑效果。
凝聚多方治理合力
构建AI风险协同防控体系
所有“新”问题都是“老”问题。AI技术出现之前，社会中也有在街头通过卖惨来博取同情、骗取钱财的人，传统媒体时代也经历过屡禁不止的冒牌医疗专家售卖保健品乱象。AI“作恶”只是以往社会问题在网络虚拟公共空间的再现，它本质上不只是技术问题、法律问题，而是复杂的社会问题。
乱象背后，AI技术本身是中立的，它没有作恶意图，也没有承担后果的能力。真正需要被审视的，是那些利用AI技术精准攻击人性弱点的个人或机构：批量生产虚假人设的运营者、以矩阵化分发收割流量的MCN机构，以及在流量与风控之间权衡得失的平台。
一位老人在被拦下后仍不肯相信“小海”是假的，这不仅是媒介素养的问题，更是一个结构性困境的缩影：当真实世界的陪伴供给不足，虚拟世界提供的被需要感便有了可乘之机。封号可以清空一个“小海”，却清不掉老龄化社会带来的社会治理新问题。
乱象治理不能止步于封禁账号、强制标识和普及防骗知识，还需要关注老年群体的真实生活处境，通过社区关怀、家庭陪伴和公共服务弥补情感支持的不足。同时，应该像全民反诈的宣传推广那样，大力提高公众AI素养，帮助不同的群体，特别是青少年群体和老年群体，理解AI生成内容，提高识别虚假信息的能力，为信息弱势群体构建起有效的信息防护网和配套的社会支持系统。
媒体同样是推动治理的重要力量。专家建议，主流媒体不能仅仅止步于像自媒体那样猎奇性地关注和报道乱象，不仅要揭露问题、呈现个案、鞭笞丑恶，更应该深入调查，追踪事件处置、责任追究及整改情况。通过持续报道和深度调查，将个案背后的共性问题呈现出来，推动公众关注从单一事件延伸至技术滥用、平台责任和制度治理等更深层次议题，形成持续的舆论监督和治理推动力，助力真正解决问题。
总而言之，面对不断迭代的AI技术，治理方式也需要从被动应对转向主动适应。技术层面完善鉴伪与溯源能力，平台层面强化前置审核和风险拦截，法律层面明确责任边界、提高违法成本，媒体层面加强深度调查与持续追踪，社会层面推进媒介素养教育普及和构建情感支持体系。只有各方力量各司其职、共同形成合力，才能更好地应对AI技术滥用带来的风险，实现技术应用与社会治理的平衡。
本期沙龙由中国传媒大学新闻学院陈锐教授主持，参与研讨的专家有：中国传媒大学计算机技术与网络安防专家朱立谷教授，北京市京都律师事务所高级合伙人、刑辩律师齐晓伶博士，中国社会科学院大学法学院副教授、互联网法治研究中心主任刘晓春，中国传媒大学新闻学院副教授仇筠茜，科技媒体人、深水研究DeepResearch主编、科技专栏作家陈白博士，中国科学院计算所特别研究助理赵宇博士，中国新闻出版研究院传媒研究所助理研究员董光宇博士，法治网副总编辑、舆情中心主任付萌博士，以及法治网舆情中心的研究员等。
濠水沙龙，以庄子濠梁观鱼之辩为引，邀学界业界闭门围坐，纵观舆论江湖，不谈立场，只拆脉络，不论对错，但见涟漪，无问西东，唯求真知。众声喧哗中，最稀缺的不是观点，而是看清潮汐的眼睛，若君有意，不妨来此，共观一鱼。
来源：法治网舆情中心
策划统筹：付萌
文字整理：洪紫绮
新媒体编辑：牛佳宇
编辑：贾昊敏