奔腾2 CPU+128MB内存成功运行Llama大模型：速度还挺快
12月30日消息，奔腾据媒体报道，存成EXO Labs最近发布了一段视频，功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型（LLM）。
这台主频350MHz电脑成功启动进入Windows 98系统，大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎，并要求LLM生成关于“Sleepy Joe”的奔腾故事，令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然，该组织自称为“民主化AI”而生，行L型速由牛津大学的大模度还研究人员和工程师组成，他们认为，挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此，功运EXO希望建立开放的基础设施，训练前沿模型，并使任何人在任何地方都能运行它们，这项在Windows 98上的AI演示，展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程，他们购买一台旧的Windows 98 PC作为项目基础，但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战，他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战，EXO找到了Andrej Karpathy的llama2.c，可以总结为“700行纯C代码，可以运行Llama 2架构模型的推理”，Karpathy曾是特斯拉的AI主管，也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器（以及一些轻微的调整），代码可以被制作成Windows 98兼容的可执行文件并运行，GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度，根据EXO的博客，升级到15M LLM后，生成速度略高于1 tok/s，Llama 3.2 1B的速度则慢得多，为0.0093 tok/s。
相关文章：
- 威少投篮命中率100%且0失误砍三双 历史第3人&约基奇/小萨在列
- 警惕超大显存的魔改显卡：买了就后悔
- 邮报列身价跌幅前十球员：穆阿尼跌3300万英镑居首 拜仁多人上榜
- 💶足坛转会费上亿的前锋共10位：2亿内马尔居首，半数不合格？
- 冬窗召回？尤文租将鲁加尼代表阿贾克斯出场611分钟，期间0丢球
- 双路96核心！俄罗斯AI服务用上自研CPU：偷偷配八块NVIDIA GPU
- [流言板]谢泼德赛季至今一共得到100分，排名24届新秀第22名
- 屏幕一键秒变普通笔记本两倍！联想卷轴屏PC更多细节曝光
- [流言板]詹库对决最近5场数据：詹姆斯34+10+10，库里34+5+6
- 屏幕一键秒变普通笔记本两倍！联想卷轴屏PC更多细节曝光
相关推荐：
- 70万5000万赖因德斯21岁拒印尼归化，现身价暴涨至5000万欧
- 亚马尔：感谢所有传奇的称赞 尤其是偶像内马尔 新一年全力以赴！
- 利民新款风冷散热器首发269元：双塔六热管 28mm双风扇
- 上海汉图发布高速激光打印一体机：首个国产主控龙芯2P0500
- 阿里扎：锡安是时候去新的地方重新开始了 长期缺战让他很沮丧
- 西甲身价跌幅榜：姆巴佩、琼阿梅尼等皇马5人2000万欧最高
- 双路96核心！俄罗斯AI服务用上自研CPU：偷偷配八块NVIDIA GPU
- 迪马济奥：米兰向巴黎求租穆阿尼，但巴黎不愿负担部分薪水
- 谁将成为票王🔥2025旧金山全明星投票通道已正式开启！
- 欧冠第6轮最佳球员候选：格雷兹曼、萨卡、奥利塞、比佐入选