Lewlh's blog

本门描述一个简单且闭环的构建私有LLM代码助手的方案。

最近经常使用 PowerShell 安装一些开源的项目，拉代码，安装依赖，一些命令需要来回复制，效率非常底下，非常想念在类unix系统下面那些好用的命令行工具，如 oh-my-zsh。网上搜了一下，意外发现 PowerShell 下面也有类似的工具名叫oh-my-posh，感觉还挺不错。故把安装的过程记录一下。

DeepseekR1 出圈，引起了我非常大的兴趣并想尝试用一下。首先想到的是 Ollama 进行部署，一开始我以为 Ollama 在 MacOS 下面应该是支持 AMD RX580 的显卡进行部署的，结果部署完发现并不能使用，在网上查了一圈，基本的结论是 Ollama 只支持 Metal3 的接口，Metal2 并不支持。所以除非我想办法在这张显卡上安装 MacOS15/Sequoia 及以上版本的系统，不然只能用 CPU 对大语言模型进行推理了。不过我也有新的发现AMD显卡全系列解锁Ollama支持，llama3运行更优雅！，最近有大神魔改了 ROCm 的驱动，并成功在 windows 下面安装 ollama 并成功调用 AMD RX580 进行推理，真是枯木逢春啊！后面我也做了尝试，果然能用，不过速度相较于纯 E5-2666v3 推理，没有快很多。下面我介绍一下部署的过程。

2024年的最后一天，我爱人问我，咋不总结总结过去的一年，发发朋友圈呢？我想了一想，这一年自己的工作没有什么变好，反而变差，整个大环境也是越来越差，可能很多人也过得并不好，在这种情况下，在朋友圈里发积极向上的文字，显得自己不合群，发愤世嫉俗、劝人知足常乐，又显得自己 low，就是说啥也不合适，最后决定啥也别发了，看看别人发啥吧。最后看了一圈，发现大家也不怎么发年终总结的朋友圈了，自己也就释怀了。现在离中国农历新年还有一周，我还是想在自己的博客里面，总结一下2024年，为新的一年打打气。

博主 2024 年心血来潮，花了一些钱组装了一台 x99 洋垃圾主机，因囊周羞涩只买了一张 AMD RX580 矿卡，但是这张卡其实也能跑一下 AI 大模型，也是老当益壮了。我的计划是尝试一下的 AI 应用：

• Ollama
• ComfyUI
• FaceFusion
• DrawThings

本文将记录我的尝试过程,分享给有需要的朋友。