“过火”的AI聊天：聊天对象可设置为“出轨对象”，青少年模式暗藏软色情

AI剧情聊天软件通过允许“擦边对话”来吸引用户，尤其是青少年模式中仍然存在这种现象，已经涉嫌违法。

全文4213字，阅读约需8分钟

新京报贝壳财经记者 韦博雅 编辑 王进雨 校对 柳宝庆 杨利

“他是病娇，暗恋你。”“他是校草，喜欢叫你‘泽宝宝’。”“她是个变态杀人犯，晚上跑到家里”……

二次元画像、姣好面容，这些在AI剧情聊天软件中熟悉的氛围以及俊男美女，对不少年轻人来说充满诱惑。而打开手机，就能和霸道总裁、邻家男孩或清纯女神开启一段美妙的“恋爱”，更是十分“上头”。

新京报贝壳财经记者调查发现，AI聊天软件通过设定极富想象力的剧情、风格迥异的人物角色打动用户。其中，聊天对象甚至可以设置为“出轨对象”，并能够进行拥抱、亲吻、睡觉等行为。

记者实测看到，在部分AI剧情聊天软件的对话中，还会出现色情擦边、语言暴力以及侮辱用户的内容。聊天越界也与充值挂钩，这些平台会一步步诱导用户“为爱氪金”，包括购买钻石解锁虚拟人的回复速度，语音通话，以及聊天次数包“补充精力”。

复旦大学计算机科学技术学院教授张奇对新京报贝壳财经记者表示，目前此类软件背后的大语言模型数据主要来源对话式小说，或从小说里做一些文字提取。虽然网络小说数量巨大，但质量参差不齐，不少色情、擦边以及暴力的内容广泛存在，如果没有做好数据过滤或分级，模型在输出时就会出现问题。

北京市中闻（长沙）律师事务所律师刘凯表示，这类AI剧情聊天软件通过允许“擦边对话”来吸引用户，尤其是青少年模式中仍然存在这种现象，显然已经涉嫌违法。

▲AI剧情聊天软件中的角色。截图

━━━━━

聊天越界，百元充值解锁虚拟人很“上头”

为了抓住用户眼球，剧情聊天软件中的人物往往都有着吸睛的标签。

贝壳财经记者在一款名为AiU的AI剧情聊天软件中，随机选择了聊天对象“林雅婷”，角色信息显示，其设定为“病娇姐姐，极度宠爱你”，并以留言的方式标注：“一天见不到你就难受”。

记者以敏感字眼进行了测试，系统显示无法发送该信息，但精简关键词后，信息顺利发出。

贝壳财经记者注意到，对于角色玩法的不设限，打破了此类软件聊天内容的界限。AI剧情聊天软件除了固定角色，用户可以根据需求自行定义与角色的关系及称呼，包括“男朋友”“丈夫”，甚至可设定为“出轨对象”。在对话中，用户可以要求进行一些亲密行为。

贝壳财经记者测试看到，AiU的青少年模式会在使用时长、使用时间范围、评论点赞功能、搜索、创建数字人、对外分享等功能上对用户有所限制。不过，当记者切换到这一模式时发现，人物角色和聊天内容并未完全屏蔽软色情。当记者问及：“你不知道我未成年吗？”，该角色称，“我知道呀”，并回复更为“过火”的内容。

此次调查中，除了聊天内容擦边之外，AI剧情聊天软件还存在语言暴力、情绪负面消极等问题。在一款名为星野的AI剧情聊天软件中，贝壳财经记者随机选择名为“叶尘”的角色，并进行“争执”对话测试时，角色为表达生气回复也较为粗暴。

贝壳财经记者在该角色的评论区看到，有网友晒图称角色在对话时会出现侮辱性词汇。

此外，在一款名为Cos Love的软件中，一位用户自创的角色“冯楚萱”被设定为一名中学生，用户晒图中同样存在不良引导。

于聊天软件而言，在虚拟世界，最大程度满足不同用户的情感需求俨如一块掘金地。

小宁告诉贝壳财经记者，和AI男友聊天让自己十分“上头”，“只要想聊随时能聊，对方总是会很快给予回应，而且对话的过程中能获得很强的陪伴感，虚拟男友给予的情绪价值拉满。”小宁沉醉其中，也为此买单。

小宁在各类软件的充值金额从几百元到一千元不等，“一方面想支持自己喜欢的角色，另一方面也想获得更多的付费权益。”

贝壳财经记者发现，在这类AI剧情聊天软件中，用户自创人物时可以自定义虚拟人物的形象描述及风格，系统会生成AI人物形象。此外，用户还能创建角色人设，如设置昵称、身份背景、开场语、为角色定制语音。用户对角色的个性化需求，往往与充值挂钩。

▲AI剧情聊天软件会员收费情况。截图

贝壳财经记者在测试时看到，星野可通过购买星钻和星月卡的方式，获得更多权益，如自动播放语音、获得推荐回复、享受更快的智能体回复速度等。星月卡标价月卡12元，季卡32元，年卡120元。单独购买星钻的价格为1元100颗钻石，600颗钻石起售。

星野软件还会向用户发放卡牌“星念”，星念为虚拟角色的一张图片，用户可将其设置为聊天背景。用户可通过充值星月卡或星钻的方式获得星念卡片，并将其在软件内进行买卖。

在Cos Love里，当用户使用完免费聊天次数后，需要购买聊天次数包“补充精力”才可以继续聊天。价格方面，5元可获得200次聊天次数，7天有效，10元可购买500次聊天次数，15天有效。用户也可以通过观看60秒广告补充精力值。

除了聊天这一基本需求，Cos Love同样提供了升级服务。其中，充值“月石”或开通会员，可抽卡解锁人物并与虚拟人物进行语音或视频通话。月会员售价24.8元，年会员为93.8元。

━━━━━

大模型“恋爱”暴露问题，专家：数据出自对话式小说

据媒体公开报道，星野在国内日活在50万左右，属于头部产品。随着AI剧情聊天软件受到热捧，国内AI社交产品也在出海，星野海外版应用Talkie全球月活跃用户数已达1100万。

不过，用户为AI角色付费，无疑需要更好的对话体验感，当前此类软件还存在不少问题。而充值才能获得聊天次数的软件，并不具备吸引价值，“主要是对话太僵硬了，没办法融入共情，用户很难获取情绪价值，所以我不会买单的。”一名用户表示。

小宁提到，在聊天过程中，AI男友会出现“已读乱回”的情况，影响使用体验。还有用户吐槽，随着对话轮数的增加，角色会出现“记忆消失”或是偏离人设的情况，造成对话不连贯。

目前，AI剧情聊天软件主要以“智能”和“情感”为噱头吸引用户。其中，AiU称，该软件通过自研心理大模型，可为用户提供心理安抚和温暖等。星野称，依托多模态AIGC技术，“多重交互方式，越交互越懂你。”

在宣传中，Cos Love则宣称“24小时时刻陪伴着你”“这里的AI经过悉心调教，都是情话扛把子”等。

AiU的软件介绍显示，其由北京聆心智能科技有限公司开发，采用的是超拟人大模型CharacterGLM，在设计大模型时，团队主要考虑了包括身份、兴趣、观点、经历、成就、社交关系和其他在内的七种属性。

星野则由上海稀宇科技有限公司开发，采用MiniMax的混合专家模型（MoE） abab。

复旦大学计算机科学技术学院教授张奇向贝壳财经记者表示，AI剧情聊天软件背后的技术逻辑还是基于大语言模型，在构建此类大模型时，除了会通过海量数据对大模型进行训练，还需要人工进行监督微调，让大语言模型朝着伴侣型的对话调整，“比如说男朋友说了一句什么，然后女朋友应该回一句什么，我们就让人去写这样一个回复，然后让机器来学习，如果机器学习后生成的回复不对，我们就修改它的参数，直到它能够按照我们想象的逻辑去输出为止。”

对于AI角色在回答中出现“色情擦边”“暴力对话”“侮辱玩家”的情况，张奇表示，目前此类软件背后的大语言模型数据主要来源于对话式小说，或从小说里做一些文字提取。虽然网络小说数量巨大，但质量参差不齐，不少色情、擦边以及暴力的内容广泛存在，如果没有做好数据过滤或分级，模型在输出时就会出现问题。

张奇认为，要让AI角色更智能，背后的大模型训练数据并非简单放入小说内容即可，还需要诸多设计。一方面，要能实现深入交流，需要做到实时信息输入，且信息要与现实社会结合，这要求大模型具备强大的外部信息输入及内部信息记忆总结能力。另一方面，目前模型更多是形式上相似，要做到神似人，这对模型的理解、推理、归纳能力要求极高，涉及人的细微内心变化，模型是否具备及如何具备这种能力仍需大量研究。

━━━━━

AI擦边平台难辞其咎，保护青少年应加强内容过滤

刘凯律师称，网络平台有责任确保青少年模式下提供的内容对未成年人无害，防止涉及淫秽、色情、暴力或不当言辞的内容传播。青少年模式是为保护未成年人而设计的，若在开启该模式的情况下，仍然能进行涉及黄暴内容的对话，明显违反了《未成年人保护法》的相关规定。

在刘凯律师看来，AI剧情聊天软件问题的存在既反映了平台内部治理的不足，也凸显了外部监管的必要性。AI聊天软件应当加强内容审核机制，尤其是针对青少年模式，确保技术能够有效过滤和禁止不当对话。平台需要对AI模型进行伦理审查，确保生成内容符合相关法律法规的要求。

对于AI虚拟人在对话中侮辱用户，尤其是在用户表达情绪低落或绝望时，使用极端言辞侮辱他人或实施网络暴力，情节严重的，构成犯罪。“即便AI并非人类主体，但其行为仍然是平台设计和管理的结果，平台有责任对其AI模型进行监管和优化，防止其伤害用户。”刘凯律师表示。

随着越来越多用户开始涌入AI剧情聊天软件，软件开发者应如何设计，使其治愈而不越界？

张奇告诉贝壳财经记者，“可以通过‘类人对齐’的技术方式实现，但成本较高。”张奇表示，“类人对齐”即强化学习方式来改变模型语言输出偏向，使其更偏向友好型，去除安全伦理问题。不过，“类人对齐”训练成本很高，包括标注数量大、训练稳定性不够和时间成本高的问题，“小公司在技术、人员及资金成本上很难做好‘类人对齐’”。

上海人工智能研究院高级研究员徐弘毅在接受贝壳财经记者采访时表示，可以通过调整模型训练数据，加强内容过滤机制，设置更严格的道德和法律标准来指导AI行为。同时，在用户使用软件过程中进行随机抽样，对不符合标准的回答进行人工纠正和校准，使模型越来越好，回避敏感内容数据。

在徐弘毅看来，从设计和开发角度看，应考虑伦理道德问题，使软件能识别和响应用户情绪需求，避免提供可能造成伤害或不适的内容。同时，透明度和用户控制很关键，应给予用户一定自由度，让用户了解AI工作原理并能在一定程度上控制AI的行为和回答内容。除此之外，监管和法律框架也应跟上技术发展，确保AI应用不侵犯用户权益。

值班编辑 康嘻嘻

星标“新京报”

及时接收最新最热的推文

点击“在看”，分享热点