奔腾2 CPU+128MB内存成功运行Llama大模型：速度还挺快
12月30日消息，奔腾据媒体报道，存成EXO Labs最近发布了一段视频，功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型（LLM）。
这台主频350MHz电脑成功启动进入Windows 98系统，大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎，并要求LLM生成关于“Sleepy Joe”的奔腾故事，令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然，该组织自称为“民主化AI”而生，行L型速由牛津大学的大模度还研究人员和工程师组成，他们认为，挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此，功运EXO希望建立开放的基础设施，训练前沿模型，并使任何人在任何地方都能运行它们，这项在Windows 98上的AI演示，展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程，他们购买一台旧的Windows 98 PC作为项目基础，但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战，他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战，EXO找到了Andrej Karpathy的llama2.c，可以总结为“700行纯C代码，可以运行Llama 2架构模型的推理”，Karpathy曾是特斯拉的AI主管，也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器（以及一些轻微的调整），代码可以被制作成Windows 98兼容的可执行文件并运行，GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度，根据EXO的博客，升级到15M LLM后，生成速度略高于1 tok/s，Llama 3.2 1B的速度则慢得多，为0.0093 tok/s。
相关文章：
- [流言板]米尔顿命中半场三分可惜不算，篮网三节落后魔术25分
- 新双骄姆巴佩表现一般身价下降2000万，哈兰德2亿会下降多少
- 2024年环足奖：国米总监奥西利奥获颁年度最佳体育总监奖
- [流言板]曼联近7位主帅前10场积分：索帅最高，阿莫林范加尔13分最低
- 官方：皇马vs帕丘卡的洲际杯决赛由委内瑞拉裁判巴伦苏埃拉执法
- DeepSeek甩出了一张“王炸”
- 谁分得清啊！AMD B850/B840、Intel B860/H810主板几乎同时登场
- 凯塞多对阵富勒姆中场区域9次夺得球权，本赛季英超单场最多
- 外媒记者：弗鲁米嫩塞、福塔莱萨有意海港外援奇塔迪尼
- 晚餐多吃碳水VS.多吃脂肪蛋白质：哪种更健康? 出人意料
- 华为鸿蒙智行官宣入驻天猫京东！全系车型都将上架
- 洛杉矶国际机场两架飞机险些相撞：空管连喊三次“Stop”！
- 吐饼！哈兰德本赛季欧冠错失8次重大机会，所有球员中最多
- 极越07高速上被奔驰追尾 网友：还有配件吗
- 抖音电商：2024全年销售154亿单 830个产业带销售额过亿
- 第103届日本全国高中足球锦标赛今日开赛，揭幕战帝京vs京都橘
- AMD领先幅度之大有点没想到！锐龙5 9600X VS. i5
- 挑战同档最强品质！REDMI Turbo 4防水大满贯：支持IP66/IP68/IP69
- [流言板]下一场超越？哈登生涯失误数距离历史第六科比只差3次
- [流言板]恐怖！1992年的今天太阳单月14胜0负，创造历史第三好战绩