AMD RX580 AI部署记录:Ollama
DeepseekR1 出圈,引起了我非常大的兴趣并想尝试用一下。首先想到的是 Ollama 进行部署,一开始我以为 Ollama 在 MacOS 下面应该是支持 AMD RX580 的显卡进行部署的,结果部署完发现并不能使用,在网上查了一圈,基本的结论是 Ollama 只支持 Metal3 的接口,Metal2 并不支持。所以除非我想办法在这张显卡上安装 MacOS15/Sequoia 及以上版本的系统,不然只能用 CPU 对大语言模型进行推理了。不过我也有新的发现AMD显卡全系列解锁Ollama支持,llama3运行更优雅!,最近有大神魔改了 ROCm 的驱动,并成功在 windows 下面安装 ollama 并成功调用 AMD RX580 进行推理,真是枯木逢春啊!后面我也做了尝试,果然能用,不过速度相较于纯 E5-2666v3 推理,没有快很多。下面我介绍一下部署的过程。