（2722期）mlx-local-inference – Apple Silicon 本地 AI 推理引擎

Apple Silicon 本地 AI 推理引擎 Apple Silicon 本地 AI 推理栈，支持 LLM、多模态、嵌入、语音识别与 OCR，完全离线运行，无需云端 API。 使用说明 核心用法 MLX Local Inference Stack 是专为 Apple Silicon 打造的本地 AI 推理解决方案，通过统一的架构提供文本生成、视觉理解、文本嵌入、语音识别和 OCR 五大核心能力。系统采用双层架构：oMLX 网关负责 LLM/VLM 的高性能推理（OpenAI 兼容 API，localhost:8000/v1），支持连续批处理和 SSD 缓存；Python 库层通过 uv 直接调用 MLX 原生实现，处理嵌入、ASR 和 OCR 任务。 关键使用模式： LLM/VLM: 使用 OpenAI 客户端连接本地 oMLX 服务，支持 Qwen3.5-35B 等量化模型 嵌入: uv run --with mlx-lm 加载 Qwen3-Embedding 模型 ASR: uv run --python 3.11 --with mlx-audio 执行语音识别（必须用 Python 3.11 避免 OpenMP 崩溃） OCR: uv run --python 3.11 --with mlx-vlm 运行 PaddleOCR-VL 视觉模型 显著优点 完全隐私: 数据永不离开本地设备，满足敏感场景合规要求 零延迟网络: 无需云端往返，响应速度显著优于 API 调用 离线可用: 无网络环境下依然可以运行全部 AI 能力 Apple Silicon 优化: MLX 框架深度利用 Neural Engine 和统一内存架构 量化高效: 4-8bit 量化模型在消费级 Mac 上可运行 35B 参数大模型 API 兼容: oMLX 提供 OpenAI 格式接口，迁移成本低 潜在缺点与局限性 硬件锁定: 仅限 Apple Silicon Mac（M1/M2/M3/M4），无 Intel 或跨平台支持 显存瓶颈: 大模型运行受限于设备统一内存容量，35B 模型需约 20GB Python 版本敏感: ASR/OCR 明确需要 Python 3.11，否则触发 OpenMP 线程崩溃（SIGSEGV） 模型管理负担: 用户需自行下载并维护 ~/models/ 目录中的多 GB 模型文件 生态封闭: 依赖 oMLX 特定格式和 MLX 生态，无法直接使用 HuggingFace 标准格式 功能边界: 缺乏云端模型的持续更新、多模态最新能力和企业级 SLA 适合人群 隐私敏感用户: 律师、医生、金融从业者处理机密文档 离线工作者: 经常无网络环境的差旅人员、野外研究者 低延迟场景: 实时交互应用开发者、本地 Agent 构建者 Apple Silicon 深度用户: 已拥有大内存 Mac Studio/Book 的专业用户 成本规避者: 希望消除 API 调用费用的高频使用者 常规风险 模型来源风险: 需确保从可信渠道下载模型，防范供应链投毒 量化精度损失: 4-8bit 量化可能影响复杂推理任务准确性 系统稳定性: oMLX 服务崩溃需手动重启（launchctl kickstart） 存储占用: 完整功能需预留 30GB+ 模型存储空间 热管理: 持续推理可能导致 Mac 风扇高转速运行与降频 原始说明 Use when calling local AI on this Mac — text generation, embeddings, speech-to-text, OCR, or image understanding. LLM/VLM via oMLX gateway at localhost:8000/...