尽管AI技术给人类带来了诸多优越的应用体验，且能提升生产和工作效率，但其存在的数据隐私泄露、数据安全和合规性问题、技术滥用和失控风险等，使全球各国对AI技术保持谨慎的发展态度。

8月30日消息，人工智能企业OpenAI和Anthropic已经同意在推出新模型前交给美国政府评估安全，以确保这些模型的安全性和减少潜在的社会风险。

目前，这两家人工智能领军企业已经与美国政府下属的AI安全研究所（US AI Safety Institute）签署了谅解备忘录，承诺在发布重大新的人工智能模型之前，先让美国政府进行评估，包括模型的能力、可能带来的风险以及减轻这些风险的策略。

2023年1月，美国商务部国家标准与技术研究院发布《人工智能风险管理框架》，旨在对人工智能系统全生命周期实行有效的风险管理。

2023年10月，美国第一次在政治对话中真正纳入人工智能的议程，并发布总统行政令《安全、可靠和值得信赖的人工智能开发和使用》，明确了美国政府治理人工智能的政策法律框架。值得一提的是，该行政令动用《国防生产法》的紧急权力，强制要求人工智能企业进行安全测试并与政府分享测试结果。

为了进一步加强AI安全研究，美国商务部长吉娜·雷蒙多于2024年2月宣布成立美国人工智能安全研究联盟（AISIC），该联盟将隶属于美国人工智能安全研究所（USAISI），并得到200多家领先的人工智能利益相关者的支持。该联盟的成立标志着美国在AI安全研究方面的重大进展，汇集了包括谷歌、英伟达、英特尔、苹果、IBM、摩根大通等知名企业。

2024年5月，美国参议院人工智能工作组发布《推动美国在AI领域的创新：参议院AI政策路线图》。

由此可见，过去一年多来，在生成式预训练人工智能及相关技术引发越来越多关注和担忧后，美国在人工智能（AI）安全研究方面采取了一系列措施，以确保AI技术的安全、可靠和可信地开发和使用。

对于AI大模型的安全评估，美国政府表示，这一举措将有助于他们共同评估安全风险并缓解潜在问题。

目前，OpenAI和Anthropic的高层均对合作表示支持，并强调了安全在AI发展中的重要性。

OpenAI首席战略官Jason Kwon表示：“我们非常支持美国AI安全研究所的使命，并期待一起合作，制定AI模型的安全最佳实践和标准。我们相信，该研究所在确保美国在负责任开发AI方面的领导地位上扮演着关键角色。我们期望通过与研究所的合作，能为全球提供一个可以借鉴的框架。”

Anthropic公司也表示，建立有效测试AI模型的能力非常重要。该公司的联合创始人兼政策负责人Jack Clark认为：“确保AI安全可靠对于让这项技术带来积极影响是至关重要的。通过这样的测试和合作，可以更好地发现和减少AI带来的风险，推动负责任的AI发展。我们为能够参与这项重要工作感到自豪，并希望为AI的安全性和可信度设立新的标准。”