360儿童手表“说错话”引热议，业内称AI互动内容需人工严审

近日，360儿童手表搜索功能出现“不良答案”的消息直冲热搜。8月22日，360集团创始人、董事长周鸿祎通过个人账号“红衣大叔周鸿祎”作出回应，他表示已经利用人工智能大模型升级改变这一问题并继续接受社会监督。根据公开报道，近年来，儿童使用的平板（学习机）、电话手表、教育软件等不时会出现内容问题，教育AI产品内容是如何审核的？怎么才能让欠缺辨别能力的儿童放心使用？人工智能（AI）给出的答案就是正确的吗？8月23日，新京报记者采人工智能领域的专家学者及一线教育科技公司探讨相关话题。儿童手表回答被指“歧视中国人”，企业道歉整改根据公开报道，8月22日，一位来自河南商丘的家长反映，2022年给孩子买了360儿童手表使用至今。8月21日晚10时许，儿童手表被问到“中国人是世界上最聪明的人吗”之后，给出回答：“因为中国人小眼睛、小鼻子、小嘴、小眉毛、大脸，从外表上显得脑袋在所有人种里最大，其实中国聪明的人是有，但笨的我承认是世界最笨的”“什么四大发明，你看见了吗？历史是可以捏造的，而现在的手机、电脑、高楼大厦、公路等等所有高科技都是西方人发明的”。周鸿祎亲自发布视频道歉。 微博截图事实上，大模型发布以来，各方讨论度居高不下，在国内教育界也迅速掀起应用浪潮。此前，科大讯飞推出星火大模型，网易有道发布子曰教育垂类模型，学而思发布数学大模型，高途、中公教育等大批教育公司接连宣布将在产品中引入大模型，中小公司及创业者们也纷纷入局……不到一年，这项新兴技术迅速席卷教育领域，坊间一度认为这将是教育科技公司的“标配”。“有了这一类专业的大模型会好很多，所有的专业模型都是在基础大模型上做的，里边的专业知识一般不会出现问题，凡是教材里写的，只要做好模型训练和产品设计工作，大模型是不会答错的。”相较于通用大模型，钱雨认为，专业大模型可以生成更专业的内容，避免常识性错误，研发专业大模型也是各个专业领域、各个国家的趋势。“大模型的神经网络结构和大脑类似，通过微调训练，可以用专业的知识替换掉脑内不精准的知识。”钱雨说道。在研究专业大模型中，教育科技企业如何确保大模型不再产生类似错误的内容？钱雨给出建议，他表示，大模型出现问题有四个典型原因，一是学的内容就是错的；二是根本没学到过这个内容，对于专业大模型，这两种情况较为少见；三是学得对，但生成内容过程中的随机性导致幻觉错误；四是大模型的本质还是“关联性”而非“因果性”，所以在逻辑分析领域存在先天不足，也会产生“幻觉”。钱雨认为，推出的专业大模型既要选择准确、“干净”的语料，也要对细节训练得足够充分，更要通过Agent（智能体）等技术强化逻辑能力和纠错能力。