oMLX

oMLX将你的Mac变成一个完整的LLM推理服务器，直接从菜单栏运行。它支持文本、视觉、OCR、嵌入和重排模型，并且可以进行持续的批处理。此外，它还提供一个RAM+SSD分层的键值缓存，能够在重启后依然保持数据，使得Claude Code和Cursor的响应时间从90秒缩短到大约5秒。它与OpenAI和Anthropic的API兼容，可以直接使用。最重要的是，它是原生Swift开发的，而不是基于Electron的。采用Apache 2.0许可证，开源。