利用大语言模型学习LLM
虽然我不是算法工程师,但我一直对大语言模型(LLM)及其背后的 Transformer 模型充满好奇。过去,我只是零星地读过网上一些入门文章,结果常常看得云里雾里。最近,我下定决心要弄懂这个席卷技术圈的模型的奥秘,于是开启了一段充满挑战又兴奋的学习之旅。
虽然我不是算法工程师,但我一直对大语言模型(LLM)及其背后的 Transformer 模型充满好奇。过去,我只是零星地读过网上一些入门文章,结果常常看得云里雾里。最近,我下定决心要弄懂这个席卷技术圈的模型的奥秘,于是开启了一段充满挑战又兴奋的学习之旅。
本门描述一个简单且闭环的构建私有LLM代码助手的方案。
最近经常使用 PowerShell 安装一些开源的项目,拉代码,安装依赖,一些命令需要来回复制,效率非常底下,非常想念在类unix系统下面那些好用的命令行工具,如 oh-my-zsh。网上搜了一下,意外发现 PowerShell 下面也有类似的工具名叫oh-my-posh,感觉还挺不错。故把安装的过程记录一下。
DeepseekR1 出圈,引起了我非常大的兴趣并想尝试用一下。首先想到的是 Ollama 进行部署,一开始我以为 Ollama 在 MacOS 下面应该是支持 AMD RX580 的显卡进行部署的,结果部署完发现并不能使用,在网上查了一圈,基本的结论是 Ollama 只支持 Metal3 的接口,Metal2 并不支持。所以除非我想办法在这张显卡上安装 MacOS15/Sequoia 及以上版本的系统,不然只能用 CPU 对大语言模型进行推理了。不过我也有新的发现AMD显卡全系列解锁Ollama支持,llama3运行更优雅!,最近有大神魔改了 ROCm 的驱动,并成功在 windows 下面安装 ollama 并成功调用 AMD RX580 进行推理,真是枯木逢春啊!后面我也做了尝试,果然能用,不过速度相较于纯 E5-2666v3 推理,没有快很多。下面我介绍一下部署的过程。
2024年的最后一天,我爱人问我,咋不总结总结过去的一年,发发朋友圈呢?我想了一想,这一年自己的工作没有什么变好,反而变差,整个大环境也是越来越差,可能很多人也过得并不好,在这种情况下,在朋友圈里发积极向上的文字,显得自己不合群,发愤世嫉俗、劝人知足常乐,又显得自己 low,就是说啥也不合适,最后决定啥也别发了,看看别人发啥吧。最后看了一圈,发现大家也不怎么发年终总结的朋友圈了,自己也就释怀了。现在离中国农历新年还有一周,我还是想在自己的博客里面,总结一下2024年,为新的一年打打气。
博主 2024 年心血来潮,花了一些钱组装了一台 x99 洋垃圾主机,因囊周羞涩只买了一张 AMD RX580 矿卡,但是这张卡其实也能跑一下 AI 大模型,也是老当益壮了。我的计划是尝试一下的 AI 应用:
本文将记录我的尝试过程,分享给有需要的朋友。
笔者手里有闲置的 DDR4 ECC 内存条,以及两块大容量的 SAS 硬盘,最近突发奇想打算组装一台 x99 平台的 NAS,用于家庭影音娱乐、相片视频数据的备份以及轻量的 DevOps。本文记录一下硬件选购的分析过程以及组装的过程。
2024年7月,作者和一位同事被公司派往非洲西部的利比里亚-蒙罗维亚进行项目交付。作者有幸第一次踏上非洲大陆,体验了一把非洲的“探险”之旅。整体旅程九天,一路上还算顺利,也算是一段不可多得的人生体验。本文则未此段旅行做个记录,为未来的回忆留下痕迹。
《疫苗接种或预防措施国际证书》(《黄皮书》), 是世界卫生组织为了保障入出国境人员的人身健康 , 为防止国际间某些传染病的流行,各国都对外国人进入本国国境所需某些接种作出规定。根据不同时期、不同地区和疫情的分布情况,各国对预防接种的要求也有所不同。通过入出国境的人员 , 交通工具 , 货物和行李等传染和扩散而要求提供的一项预防接种证明 , 其作用是通过卫生检疫措施而避免传染。如果出入国境者没有携 带黄皮书 , 国境卫生检疫人员则有权拒绝其入出境 , 甚至采取强制检疫措施。
作者因公需要出差西非的利比里亚,因行程安排比较紧凑,导致预约打疫苗的事情上出现了一些问题,最终通过异地预约打上疫苗,按期出国,本文做一次攻略分享给大家。
MyScaleDB 基于开源的 Clickhouse 项目二次开发,使用方式基本上与其相同,在向量索引、搜索上有功能拓展,使用的时候需要提醒注意(截止到20240524):