广泛传播的聊天机器人ChatGPT的开发公司OpenAI应对人工智能毁灭人类风险“预防框架”文件,概述了OpenAI如何跟踪、评估和防范尖端人工智能模型的“灾难性风险”。
作为新准备框架下制衡的一部分,OpenAI表示,公司领导层拥有是否发布新AI模型的决策权,但其董事会拥有最终决定权,并拥有对OpenAI领导团队做出的决定的“撤销权”。
预防工作框架包含了五项关键措施
1、通过评估来跟踪灾难性的风险水平。我们将沿着几个跟踪风险类别建立和不断改进一套评估和其他监测解决方案,并在记分卡中显示我们当前的缓解前和缓解后的风险水平。重要的是,我们还将预测未来风险的发展,以便我们能够制定安全和安全措施;
2、寻找不知到的未知。我们将持续运行一个过程,以识别和分析(以及跟踪)目前未知的灾难性风险类别的出现;
3、建立安全基线。只能部署缓解后得分为“中等”或以下的模型,只能进一步开发缓解后得分为“高”或以下的模型(如下面的跟踪风险类别中的定义)。此外,我们将确保任何缓解前风险水平“高”或“严重”(如下记分卡中定义)的模型具有安全的针对性措施,以防止此类模型逃出。我们还建立了程序性承诺(如后面治理中的定义),进一步说明我们如何实施预防框架概述的所有活动。
4、将预防框架的实地工作分配到预防团队。该团队将推动预防框架的技术工作和维护。这包括进行研究、评估、监测和进行风险预测,并通过定期向安全咨询小组提交报告来综合这项工作。这些报告将包括最新证据的摘要,并就使OpenAI能够提前计划所需的变化提出建议。预防小组还将召集并与相关小组(如安全系统、安全、安全、超级协调、政策研究)进行协调,以整理这些报告中包括的建议缓解措施。此外,准备工作还将管理安全演习,并与值得信赖的人工智能团队进行协调,以进行第三方审计。
5、创建一个跨职能的咨询机构。我们正在创建一个安全咨询小组(SAG),汇集来自公司的专业知识,帮助OpenAI的领导和董事会为他们需要做出的安全决策做好最佳防范。因此,安全咨询小组的职责将包括监督对风险前景的评估,以及维护一个处理紧急情况的快速通道流程。
积分充值
30积分
6.00元
90积分
18.00元
150+8积分
30.00元
340+20积分
68.00元
640+50积分
128.00元
990+70积分
198.00元
1640+140积分
328.00元
微信支付
余额支付
积分充值
应付金额:
0 元
请登录,再发表你的看法
登录/注册