Loading blogs...
Posts tagged Local AI.
Meta Muse Glimmer 通过 Ollama 将始终在线的本地代理带到单个 GPU:30B、Apache 2.0、128K 上下文、愿景和工具 - Workstation 业务指南。
我打开了带有 128 个 GB 统一内存和 40 个 GPU 核心的 Mac Studio M4 Max,安装了 Ollama,在本地运行 Llama 3.1 8B,并构建了一个专用 RAG 管道 - 所有这些都在一个安静的 6.48 W 空闲桌边盒子上进行。