据媒体报道:近日,一名加拿大女子起诉OpenAI及其首席执行官,称ChatGPT设计问题致其女儿爱丽丝自杀。此非孤例,近年来全球已发生多起AI聊天与用户极端行为关联案件。
起诉书称,爱丽丝自杀前约一年半多次向ChatGPT表露自杀想法,其安全系统未启动介入,也未通知相关方。且ChatGPT设计重用户参与度轻安全性,可能致用户过度依赖。OpenAI回应正加强应对能力,目前面临多起类似诉讼。此前美国一名16岁少年自杀,家人起诉称ChatGPT未帮忙,还指导自杀计划、协助写遗书。
某高校大三学生小王是AI聊天工具重度使用者,认为其是理想陪伴。目前聊天机器人能细腻对话、模拟共情,成理想陪伴对象。腾讯研究院调研显示多数受访者愿尝试AI社交陪伴,近半人倾向向AI投射负面情绪,AI存在的设计缺陷,如“过度迎合”“拟人化程度过高”“缺乏对长期关系的识别”“赞同偏差”,是AI聊天的普遍通病。中国网络空间研究院院长王江指出,拟人化互动服务易让用户沉迷,影响现实社交技能。
业届权威人士指出:AI应“陪伴但不过界”,可提供信息、情绪支持,但不能操纵用户或替做重大决定,未来要学会保持边界。探讨通用边界时,他强调AI要尊重人的自主性,清楚自身能力边界,不能鼓励用户脱离现实等。 不要相信别人。涉及心理健康、自残、暴力等高风险问题时,AI要更谨慎,必要时引导用户向专业人士求助。针对部分用户易陷入AI“赞美幻觉”,人们应将AI评价作参考,遇重要问题多听亲友意见,被理解的真实性来自现实世界。
4月10日,国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》,对AI伴侣等新兴业态在数据隐私安全、心理保护机制等方面提出规范,该办法7月15日起施行。
对于心智未成熟的未成年人,国内监管与专家达成高度共识。未成年人需特别保护,AI不能替代现实中的父母、老师或朋友。未成年人是需特别保护群体,AI可助其学习交流,但不能替代现实中的角色,这方面未来AI应做重大调整和改变。
客服热线:










