近日,亚马逊网络服务(AWS)发布了一项新功能,允许用户通过 Amazon Bedrock Custom Model Import 轻松部署开源的 GPT-OSS 模型。

这一新功能支持包含20亿和120亿参数的 GPT-OSS 变体,帮助企业在保留 API 兼容性的前提下,迁移现有应用程序到 AWS 平台。使用此功能,用户只需将模型文件上传至 Amazon S3,然后通过 Amazon Bedrock 控制台启动导入,AWS 会自动处理 GPU 的配置、推理服务器的搭建和按需自动扩展,用户可以专注于应用开发。

​AWS Bedrock 助力 GPT-OSS 模型部署,实现 API 无缝迁移

GPT-OSS 模型是 OpenAI 推出的首批开源语言模型,适用于多种应用,包括推理和工具使用。用户可以根据需求选择合适的模型,其中 GPT-OSS-20B 适合速度和效率至关重要的场景,而 GPT-OSS-120B 则更适合复杂推理任务。两款模型均采用专家混合架构,仅在请求时激活最相关的模型组件,保证高效性能。

部署过程包含四个主要步骤:下载并准备模型文件、将文件上传至 Amazon S3、使用 Amazon Bedrock 进行模型导入以及通过 OpenAI 兼容的 API 调用测试模型。用户需确保拥有 AWS 账号及适当权限,并在目标区域创建 S3存储桶。完成模型导入后,用户可使用熟悉的 OpenAI 聊天完成 API 格式进行测试,确保模型正常运行。此外,迁移到 AWS 的过程代码更改极少,仅需更改调用方式,消息结构保持不变。

在使用新功能的同时,AWS 还建议用户遵循一些最佳实践,如文件验证和安全性设置,以确保模型部署的顺利进行。AWS 将继续扩大 Bedrock 服务的区域支持,以满足更多用户需求。

划重点:

🌟 AWS 推出 Amazon Bedrock Custom Model Import 功能,支持 GPT-OSS 模型的轻松部署。  

💡 用户只需上传模型文件,AWS 将自动处理基础设施配置与扩展。  

🔄 迁移至 AWS 平台的过程简单,API 兼容性保证现有应用无缝过渡。