OpenAI 推出 Foundry，作为大规模运行 AI 模型的新方式

据Techcrunch称，ChatGPT / GPT-3和DALL-E背后的研究实验室OpenAI推出了一个名为Foundry的新开发人员平台。Foundry允许客户在专用计算资源上运行OpenAI的最新AI模型，并完全控制模型配置和性能配置文件。

Foundry 专为需要以高吞吐量和低延迟运行更大工作负载的尖端客户而设计。客户可以从一系列型号中进行选择，例如 GPT-3.5、CLIP、DALL-E、Codex 等。他们还可以自定义模型参数，例如温度、top-k、top-p、频率损失、存在惩罚等。

提高模型性能的工具

Foundry还提供用于监控和优化模型性能的工具。客户可以查看推理时间、内存使用情况、每个令牌的成本等指标。他们还可以使用Foundry的API将模型与自己的应用程序和工作流程集成。

Foundry目前似乎处于私人测试阶段，需要邀请才能访问。有兴趣使用Foundry的客户可以通过OpenAI的网站请求访问。Foundry的定价尚未披露，但预计将基于每个客户使用的计算资源量。