自 11 月 30 日 ChatGPT 发布,其令人惊艳的对话能力,在业界引发了对通用人工智能的热潮。截止发文,OpenAI 一直保持遥遥领先,且并未透露更多的技术细节。然近日,一款新的 AI 助手 Claude 发布,ChatGPT 终于迎来强有力的竞争对手,本文中 chowgenxiao 和 fairyang 将介绍 Claude 背后的技术,欢迎大家一起讨论~
背景
Claude 是 Anthropic[1] 新推出的一款类似于 ChatGPT[2] 的 AI 助手,后者是从 OpenAI 出走的前员工们集体创建的 AI 初创公司。虽然目前尚未开放公测,但从曝光的内测对比结果来看,Claude 已经可以和 ChatGPT 掰掰手腕:在逻辑和计算方面,Claude 表现出了旗鼓相当的实力,尽管在代码生成和推理问题上存在差距,但在无害性方面表现突出,具体表现为能够更清晰的拒绝不恰当的请求,当面对超出能力范围的问题,能够主动坦白,而不是像 ChatGPT 那样逃避回答[3][4][5]。
同时 Anthropic 也发布出了 Claude 对应的论文《Constitutional AI: Harmlessness from AI Feedback》[6]。论文作者列表中包含较多的 OpenAI 工作背景的核心成员。在所有现有公开材料中,这篇 22 年 12 月 15 日发布的论文,成为从技术背景和时鲜性两方面最贴近 ChatGPT 的文章。这篇论文的价值,不仅在于提供了一种稍低成本的新技术思路,也对 ChatGPT 的技术复现有非常大的借鉴价值(模型参数、训练样本、标注平台、训练细节、人力分工等)。下面我们将围绕这篇论文,介绍 Claude 背后的技术。
Claude 的独门绝技
Claude 开创性引入了“宪法人工智能”(Constitutional AI,CAI)的概念。以 ChatGPT 为代表,现有方法主要通过人类反馈的强化学习(RLHF)算法,即在强化学习阶段,通过拟合大量的人工标注的偏好数据,来对齐大规模语言模型和人类偏好,从而给出令人满意的有用(Helpful)、可靠(Honest)和无害(Harmless)的回答。Claude 在有用性(有用和可靠)方面沿用人类反馈,但在无害方面开创了一条更低成本且有效的路径,仅需要制定“宪法“(少量的自然语言准则或指令),AI 系统会自动输出偏好判断,指导模型对齐 AI 理解的无害化偏好,从而训练出危害更小的系统。因此这种技术也叫 AI 反馈的强化学习(RLAIF)算法。
RLAIF 的好处:不仅可以显著降低开发 AI 助手对人类反馈标注数据的依赖,更可以增加应用 AI 助手的透明度和简洁性。前者显而易见,后者可以假设我们在使用基于 RHLF 的 ChatGPT,这样的 AI 系统通常很少公开他们辛苦标注的偏好数据,即便公开了数据,也很难从大量标注中整理相对抽象的标注目标和指导意图。而 CAI 系统的“宪法”是可以公开透明的。其次,当指导目标需要调整时,也可以省略重新标注的时间,这无疑进一步降低了应用门槛。
RLAIF 的前提:语言模型在参数规模放大到一定规模后,表现出了某种程度的突现能力(Emergent Ability),显著增强的自然语言理解能力,使得人类可以更加高效地指导 AI 系统:加入“宪法”中的自然语言原则,输出高质量的 AI 反馈信号。论文中将这种能力称作规模监督(Scaling Supervision),因为这种自动化决策过程,本身存在一定的风险,因此对模型理解能力和“宪法”设计的合理性提出了要求。论文中也通过思维链(Chain of Though, COT)和偏好集成来提升反馈的质量,并通过实验证明了 AI 反馈信号的准确性。
从时间线、创新点、实验细节、开源数据上看,《Constitutional AI: Harmlessness from AI Feedback》论文可以确为业界贴近 ChatGPT 真实实现的一篇文章。通过启发式地运用 AI 自身的推理学习能力,展示了解决通用 AI 某种特定维度问题的技术思路,进一步降低了人工标注成本和提升了基于大规模人工标注的模型导向可控/可解释能力。为 ChatGPT 的开源复现提供了更直接的技术细节支持。 参考资料