OpenAI 最大的竞争对手 Anthropic 公布了 Claude 最新的 AI 宪法《Claude’s Constitution 克劳德宪法》

研究人员最近发布了一项关于“宪法人工智能（Constitutional AI）”的研究，提出通过为语言模型设置宪法明确模型的价值观念，从而避免模型受到大规模人类反馈的隐式价值观念的影响。该宪法包含几项原则，如避免有毒或歧视性的输出、不帮助人类从事非法或不道德的活动，以及创建一个既有帮助性、诚实性又无害的人工智能系统。在进行训练时，宪法被用于对模型输出进行判断，以保证模型能够对有害输入做出适当回应。Constitutional AI 可以帮助提高模型的透明度，促进无害的模型输出，避免模型在训练中接触到不必要的扰动输出，同时也有助于减轻研究人员的工作压力。

传送门：https://www.anthropic.com/index/claudes-constitution