法治号
编者按：10月25日，央视新闻曝光利用AI生成“苦孩子”形象、虚构悲惨身世引流带货等乱象，引发公众对人工智能技术被滥用的讨论。从编造人设消费善意，到仿冒身份实施诈骗，再到批量造谣、制作违法内容，一些不法人员将AI作为欺骗公众、侵害权益、获取利益的工具。本文选取近期典型案例，梳理此类AI“作恶”乱象的主要类型、传播特征及治理难点，为网络生态治理提供参考。
舆情类型
1.剧情包装型：生成虚假人设消耗公众善意、误导消费
10月25日，央视新闻调查披露，多个账号利用AI生成名为“小海”的男孩形象，编造单亲家庭、生活困难、带货比赛还差最后几单等人设，吸引用户购买商品。一位79岁老人因深信该“故事”，计划跨越千里探望，被铁路乘警及时制止。央视新闻还曾曝光AI数字人营销问题，包括以医生等专业形象推销商品、虚拟人物声称产品“亲测有效”等。调查指出，相关视频形象、台词和情节高度雷同，可通过AI更换人物、背景、调整文案批量生成，利用大众的同理心和威信效应，引流购物链接。此类内容瞄准AIGC辨别能力弱的群体，炮制悲情人设与剧情误导消费。
（来源：央视新闻）
2.造谣诋毁型：利用AI编造、加工热点谣言博取流量
10月15日，重庆市公安局沙坪坝区分局公布典型案例显示，王某为博取关注，利用AI批量生成虚假稿件，编造某车企产品“智驾撞护栏、甩锅驾驶员”等不实内容，引发用户误解，造成诸多不良影响。9月25日，上海市公安局黄浦分局通报，张某某为博取流量，利用AI生成多条涉某院士窃取他人科研成果的谣言虚假视频并发布，造成谣言大量传播。此类案例显示，AI被用于谣言编造与二次加工，对企业和个人进行诋毁诽谤，易引发各类负面及对立情绪，从而扰乱社会秩序。文字造谣转化为视频内容后，又进一步增加了纠错难度。
（来源：@警民直通车-黄浦）
3.“灾险警”造假型：嫁接合成虚假信息放大公共安全焦虑
10月23日，据全国网络辟谣平台，西藏巴青7.0级地震发生后，有网民转发官方地震速报文字，但所配图片、视频却与实际情况不符，系“移花接木”、AI生成。9月合肥警方发布案例中，网民陈某利用AI生成“某抢劫杀人案件未破”等不实言论，并在某社交平台连续发布。9月四川公安机关网安部门公布典型案例，其中董某利用AI编造“见义勇为”新闻，虚构射洪市步行街发生醉酒男子持刀追砍路人等情节，经警方核查，当地并未发生相关案件。此类内容通过AI工具生成、拼接，由于涉及灾情、险情、警情等敏感议题，公众恐慌情绪易在短时间内扩散，在无形中透支公信力，也使官方辟谣面临更高的解释成本。
（来源：全国网络辟谣网站、“四川网警”公众号）
4.身份冒充型：通过AI换脸、拟声进行诈骗
10月18日，演员吴越公开发帖，怒斥视频号“花姐美肤日记”利用AI技术伪造其形象直播带货。9月30日，B站知名UP主“收手机的CC”发布视频称，近两个月有人用其形象制作漫画、利用AI换脸生成虚假不雅图片四处传播并对其挑衅、恐吓，报警后警方已受案。9月18日，本溪市公安局网站发布案例，当地居民接到疑似其表弟的视频通话，对方以急需资金周转为由借款，因画面人脸、声音与表弟相似，未经核验便转账3万元，事后才发现被骗，经调查系利用AI换脸、拟声合成。据四川网警案例，8月徐某某为达成与张某线下见面独处目的，利用AI合成两人虚假私密照片、多次发送给张某，并频繁发送骚扰恐吓信息，且发出照片后立即撤回以规避留证。此类案件中不法分子利用AI深度合成技术，具有较强迷惑性，被用于实施精准诈骗或制作黄谣进行威胁和网暴，易对受害者造成精神伤害与社会性死亡风险，且常通过点对点私信或小范围社群进行传播，因此发现难、取证难、溯源难。
（来源：央视新闻）
5.违法牟利型：利用AI盗取信息、生成淫秽内容售卖
9月22日，央视新闻曝光杭州中院一案例，不法分子通过AI换脸绕过平台核验，大肆窃取个人信息进行贩卖。9月9日，据《浙江法治报》报道，余姚市人民法院审结一起利用AI制作淫秽物品并牟利案件。涉案郑某等六人突破模型安全限制，搭建付费服务，向用户提供淫秽内容，收取用户充值金额折合人民币17万余元，被判处有期徒刑并处罚金。9月2日，中央网信办公布案例中，抖音账号“特**力”、快手账号“石*”、小红书账号“潮**件”、微信账号“M**勒”等，利用AI技术，生成合成公众人物低俗舞蹈、拥抱接吻等图片视频，借机营销牟利。类案表明，不法分子利用AI工具的低门槛与高拟真度，批量生产涉黄、低俗图文或视频，形成了一条从技术破解、内容生成到私域交易的网络黑产链，对社会风气尤其是青少年身心健康造成恶劣影响。
（来源：央视新闻、平安浙江网、中国网信网）
舆情解析
上述案例中AI“作恶”的违法违规性质与传播范围各不相同，但呈现出共同的问题：行为人利用AI工具降低制作成本，以虚构内容获取关注和利益，进而实现引流、交易或其他非法目的。从舆情角度看，此类AI造假行为不仅增加了应对和处置的难度，其影响还可能由个体权益受损扩散为公众对网络信息、专业身份乃至日常交往的信任动摇。
1.从文图编造转向伪造视听凭证 “眼见为实”的判断受到冲击
传统网络谣言往往依靠文字描述或通过PS等制图软件编辑图片，AI则可以合成动态视频画面，使虚假叙事获得直观的视听支撑。“苦孩子”诉说困境、“医生”讲解功效、“亲属”视频借款等场景与受众既有经验吻合，人们可能因身份标签和熟悉情境，就作出情感判断或交易决定，进而降低了对信息真实性的理性判断。这种“高保真”的伪造手段，使得虚假内容在感官层面具备了更强的说服力，导致公众长期依赖的“眼见为实”经验法则失效。当视觉和听觉证据不再可靠，社会信任的基石便易受到侵蚀，可能引发公众对网络空间信息生态的信任危机。
2.批量生成与多账号扩散相结合 单条处置难以覆盖持续性风险
“小海”案例表明，相似人设可以通过更换人物场景、修改台词批量生产；院士谣言案则显示，已有的不实谣言能够被AI加工为多条视频再次传播。相较于传统逐条拍摄和人工制作，AI为快速复制内容提供了便利，也使造假行为更容易跨账号、跨平台延续。一旦形成矩阵式、流水线式的炮制模式，违规内容数量巨大，而人工审核与投诉处理的速度难以匹配其生成效率，即便平台通过算法识别并下架了违规内容，不法分子仍能迅速调整参数、微调素材，生成新的变体重新上线，形成治理“拉锯战”。此外，跨平台流转进一步增加了监管盲区，单一平台的处置措施难以切断黑产链条的整体运作，往往导致“春风吹又生”的困境。
3.情感需求与现实焦虑被精准利用 虚构内容获得传播动力
熟人仿冒利用亲情信任，卖惨叙事则精准击中公众同情心，灾情险情造假则触发安全担忧，不法分子找准受众群体情感痛点，通过AI技术编造能够引发强烈情绪共鸣的内容故事，将受众关切转化为传播或交易的推动力，使虚假信息在情感驱动下获得远超事实本身的传播势能。在这种传播机制下，受众往往因急于情感表达和体验而忽略了对信源的核实，在理性判断之前便产生转发、购买、转账等行动，甚至在无意中成为谣言扩散的推手。
治理启示
当下，AI造假已呈现低成本、可复制、跨平台传播的持续性风险，仅靠事后处置难以走出“打地鼠”困局，前置治理必须跟上。治理AI滥用不能依赖单一主体，而需技术方、平台方、监管部门、执法机关和公众协同发力，形成源头防范、过程管控、事后追责的闭环。
其中，技术方应将防范滥用融入产品研发与服务运行，提升生成内容的自查自纠和可追溯能力，减少恶意使用空间。平台方应切实履行主体责任，加强内容审核、流量分配与变现管理，提升对虚假人设、关联账号及跨平台传播的识别和处置速度，避免造假内容被持续放大，后续还需推动澄清纠偏信息有效触达受众。监管部门应加强统筹协调，明确各方责任，推动风险线索共享和协同治理，同时加强宣传教育，引导公众增强核验意识和甄别能力。执法层面对利用AI编造谣言、实施诈骗、侵犯肖像名誉、制作传播淫秽低俗内容等行为依法从严查处，曝光典型案例，形成有力震慑。唯有技术向善、平台尽责、监管协同、执法有力、公众素养提升同向发力，才能持续压缩AI“作恶”空间，守护网络信息生态与社会信任基础。
来源：法治网舆情中心
策划统筹：付萌
分析师：惠媛龄
编辑：牛佳宇
编辑：贾昊敏