Asiai：一个用于 Apple Silicon LLM 推理监控的 MCP 服务器
Asiai 是由 Druide67 开发的专业 MCP 服务器工具，旨在监控 Apple Silicon 上的 LLM 推理引擎和系统健康。它支持多种推理引擎，如 Ollama、LM Studio 和 llama.cpp，并跟踪 CPU、RAM、GPU 和热量指标。Asiai 在免费许可证下分发，提供多种安装方法，包括 pipx 和 Homebrew，并提供 REST API 以便更广泛的系统集成。它的重点是诊断性能和为 AI 代理和开发人员基准测试模型。
Asiai 连接到什么？
Asiai 连接并监控各种 LLM 推理引擎，包括 Ollama、LM Studio、mlx-lm、llama.cpp、vllm-mlx 和 Exo，特别是在 Apple Silicon 硬件上运行时。除了这些推理引擎外，它还积极监控关键的系统健康指标，如 CPU、RAM、GPU、热量和交换使用情况。作为 AI 代理的 MCP 服务器，Asiai 还暴露了一个 REST API，从而使其能够与各种支持 HTTP 的系统和更广泛的应用生态系统集成。
核心功能和工具
Asiai 提供监控系统健康的能力，检测 CPU、RAM、GPU、热量和交换使用情况。它识别正在运行的推理引擎和加载的模型。用户可以使用 GPU 可观察性和推理活动信号诊断性能问题。Asiai 支持程序化模型基准测试和回归跟踪。它根据硬件提供最佳模型/引擎的建议。活动操作 run_benchmark 可用。命令行工具包括 "asiai --version"、"asiai setup" 和 "asiai detect"。
适合谁？
Asiai 主要服务于需要监控自身推理过程的 AI 代理。它也非常适合与代理框架、群体调度器和一般支持 HTTP 的系统集成。像 Claude Code 和 Cursor 这样的互动 AI 助手被确认是兼容客户端，从中受益于其详细的性能洞察。该工具为专注的 AI 开发提供了关于 LLM 性能和系统资源消耗的关键信息。如果您的主要需求是在 LLM 上下文之外进行通用系统监控，请跳过此部分。
如何开始
本地访问不需要凭据，因为其所有接口默认绑定到 127.0.0.1，简化了本地开发的即时部署。MCP 服务器主要使用 stdio 传输，适用于与 MCP 兼容的客户端，而 SSE 传输也可以用于多个系统的并发客户端访问。
用例
- 基准测试和比较各种 LLM 推理引擎的性能，如 Ollama 和 LM Studio，在 Apple Silicon 上。这帮助用户识别最有效的设置。
- 监控系统健康指标，如 CPU、RAM、GPU、热量和交换使用情况，以及 LLM 推理活动，以有效诊断性能问题。
- 以编程方式跟踪模型性能的回归，使开发人员能够保持最佳效率并识别连续迭代中的退化。
Asiai 提供了对 Apple Silicon 上 LLM 推理的基本监控和基准测试功能。它能够跟踪系统健康状况以及特定引擎性能，使其成为 AI 代理和开发人员的宝贵工具。它通过 stdio 和 SSE 传输支持各种客户端，并提供 REST API 以便集成。本地无身份验证设置简化了开发的初始使用。
