讲座回顾 | 人工智能与未来媒体大讲堂第26讲:“ChatGPT风险测评与ChatBIT明理对话系统应对实践”与“语言大模型展望”
发布日期:2023-05-29浏览次数:
5月25日,由bat365的登录入口唯一网址、微软、封面新闻合作主办,人工智能与未来媒体实验室、新闻出版大数据用户行为跟踪与分析实验室承办的“人工智能与未来媒体大讲堂”第二十六讲在京师大厦9308开讲。本次讲堂由北京理工大学特聘研究员、博士生导师、NLPIR实验室主任、中国人工智能学会多语种智能信息处理专委会秘书长张华平以及北京智源人工智能研究院认知与数据团队负责人、中国中文信息学会情感计算专委会委员、AI 2000全球最具影响力人工智能学者(自然语言处理领域)王业全主讲。两位主讲人分别带来了“ChatGPT风险测评与ChatBIT明理对话系统应对实践”与“语言大模型展望”的主题分享。bat365的登录入口唯一网址刘淼老师主持讲座。
张华平老师表示,从事ChatGPT的相关研究并不是“赶时髦”的工作,它与自然语言处理的研究密切相关。他首先分析了ChatGPT的革命性影响:一是从判别式人工智能到生成式人工智能的转变,二是从专用人工智能到通用人工智能的发展。判别式人工智能是指通过判断输入数据或信息来做出决策的人工智能,例如人脸识别或情感分析;而生成式人工智能则是指在给定信息的情况下能够生成新内容,例如生成逼真的人脸图像。专用人工智能是指针对特定任务开发的人工智能系统,例如人脸识别或情感分析;而通用人工智能是指具备多个任务能力的智能系统,类似于人类综合运用各种知识的能力。这种通用人工智能的发展对于未来的科学进步的探索具有重要意义。
张华平老师指出,人工智能的革命性应用将引发教育模式、评估方法等领域的必要变革。教育、媒体等行业从业者应积极思考人工智能与自身行业的关系。例如,当学生能够利用ChatGPT等技术迅速解答问题时,教育工作者需要重新审视传统的出题模式和评分标准,以适应时代需求。他强调,封杀新模式并非长远之计,应以开放和积极的态度拥抱人工智能技术带来的变革。张华平老师向与会者展示了他分别对ChatGPT提出的硕士研究生水平、博士研究生水平、专家水平的问题,ChatGPT都做出了比较完美的解答。正如比尔·盖茨对ChatGPT的评价:“这种人工智能技术的诞生有着重大的历史意义,不亚于互联网或个人电脑的诞生。”
张华平老师强调,ChatGPT作为大模型的基座,在上层实现了重要的革新,通过WebChat和人类反馈增强使对话系统更加智能、更加符合人类偏好。他对ChatGPT与国内典型大模型在情感分析、文本摘要、阅读理解、闭卷问答性能测试四个方面进行了比较,展示了ChatGPT的先进之处。但同时,他也指出了当前国内使用ChatGPT存在的风险。首先是不可控性,源代码、论文、模型无法控制,在对中国大陆封禁使用的同时存在对中国的偏见言论。其次是不可信性,ChatGPT存在编造虚假信息的情况,在对信息的把握上存在偏移,且没有真正意义上的计算能力。三是耗费大,ChatGPT的模型参数多、资源花销大、训练周期长。四是其文本生成完全基于概率,回答正确的概率与数据的数量有关。
随后,张华平老师简要介绍了ChatBIT“明理”对话系统的研究现状与应用实践。他指出ChatBIT致力于构建结果可信、部署敏捷、结果可控的系统,从语音交互、多模态、动态和数字永生四个阶段介绍了chatbit的未来发展方向。通过几段视频演示,张华平老师展示了ChatBIT的准确性和敏捷性。最后他深刻地总结:“person to person”将成为未来传播和认知战的主要模式,这为我们把握数字时代的信息传播提供了重要借鉴。
王业全老师首先介绍了语言大模型的基础原理和前沿进展。他解释了大模型一般采用“大数据+大算力+强算法”的方式驱动,尽管以GPT为代表的生成式语言模型已经非常强大,但在语言理解任务、长文本逻辑一致性和生成可信度等方面仍有不足。王业全老师用“前k个单词预测第k+1个单词”通俗易懂地解释了语言模型的基本原理,语言模型参数规模的含义,并介绍了语言模型发展的三个阶段:one-hot方法、word2vec和语言大模型。他指出,目前对话模型的成功路线之一就是在语言大模型的基础上,通过对齐(alignment)等手段,让模型更好地理解人类指令,并通过强化学习的方式使其输出更符合人类偏好。
王业全老师认为,ChatGPT现阶段是人类语言能力的映射,“它目前仍然无法创造知识,但是可以将人类创造的知识有机地组织在一个模型里”。GPT的强大之处在于能够容纳几乎所有的知识。当参数规模达到数百亿时,将出现复杂系统的涌现现象,达到“一通百通”的效果。尽管我们至今无法客观解释其中的原因,但这种现象事实存在。客观来说,ChatGPT目前仍然只是较高级的模仿,它在可信度等方面仍有许多不足之处。随后,王业全老师从目前语言模型的不足出发,对重要的研究点如长序列处理、预训练范式改进和低成本预训练三个方面介绍了现阶段学术界和工业界的前沿成果及有关文献。
最后,王业全老师展示了智源研究院在语言大模型的架构演进、自生长技术以及损失预测方面的研究进展,并向我们展示了与现有算法的对比,以及确定大模型训练所使用的超参数的方法。他强调,大模型训练过程中最重要的参数之一是学习速率(Learning rate),而OpenAI在这方面的理论研究中取得了重大突破,这值得我们进一步探索和学习。他们的研究成果称为“Research without Re-search”,突显了其在科研领域的革新性和潜力,同时也让我们看到了语言大模型在未来的无限潜力。