KubeAI: Private Open AI on K8s

使用与OpenAI API兼容的接口，私下部署大型语言模型（LLM）。

访问官网 ↗在 Product Hunt 查看

最高票数: 61
最佳排名: #30
上榜次数: 1 次
最近上榜: 2024.08.29

产品介绍

✅️ 可替代OpenAI的解决方案，兼容API 🚀 支持在CPU或GPU上运行开源大语言模型 ⚖️ 支持自动扩展，起步为0 🛠️ 零依赖（无需Istio、Knative等） 🤖 运行开源模型服务器（vLLM和Ollama） 🔋 包含聊天界面

KubeAI: Private Open AI on K8s

私有OpenAI
K8s
API兼容
OSS LLM
CPU
GPU
自动伸缩
零依赖
模型服务器
vLLM
Ollama
聊天界面