您的当前位置:首页 > 时尚 > 奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快 正文
时间:2025-01-07 11:54:12 来源:网络整理 编辑:时尚
12月30日消息,据媒体报道,EXO Labs最近发布了一段视频,展示了在一台26年历史的Windows 98奔腾2 PC上运行大模型LLM)。这台主频350MHz电脑成功启动进入Windows 98
12月30日消息,奔腾据媒体报道,存成EXO Labs最近发布了一段视频,功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型(LLM)。
这台主频350MHz电脑成功启动进入Windows 98系统,大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的奔腾故事,令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然,该组织自称为“民主化AI”而生,行L型速由牛津大学的大模度还研究人员和工程师组成,他们认为,挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此,功运EXO希望建立开放的基础设施,训练前沿模型,并使任何人在任何地方都能运行它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战,他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为“700行纯C代码,可以运行Llama 2架构模型的推理”,Karpathy曾是特斯拉的AI主管,也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些轻微的调整),代码可以被制作成Windows 98兼容的可执行文件并运行,GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。
[流言板]猛过头了!亚当斯底线长甩前场,用力过猛直接把球甩出界2025-01-07 11:48
27场造33球!约克雷斯灵性转身戏耍后卫送助攻,葡体升至榜首2025-01-07 11:45
已推迟至3月!ESPN:施工缓慢,巴萨回归诺坎普可能推迟到下赛季2025-01-07 11:38
[流言板]潜在乐透秀、OTE联赛阿门2025-01-07 11:34
回暖!76人取得4连胜&近7战赢下6场 战绩来到13胜17负2025-01-07 11:12
尤文杯赛大胜卡利亚里,欧冠能赢,意大利杯能赢,联赛就是赢不了2025-01-07 10:48
低迷,热刺连续3场英超不胜,近7轮1胜2平4负2025-01-07 10:42
[流言板]举火烧天!沃特森抢断一条龙暴扣,帮助球队拉开比分2025-01-07 10:07
王腾升职!晋升为小米中国区市场部总经理 兼REDMI品牌总经理2025-01-07 09:34
绝平?拉尔森87分钟小角度爆射破门,狼队22025-01-07 09:30
【评选】12月31日NBA最佳球员:约基奇2025-01-07 11:26
交换位置!勇士反超太阳升至西部第10,太阳跌至西部第112025-01-07 11:17
sofascore2024最受关注5战:皇马两战曼城+惨败巴萨 西班牙vs英德2025-01-07 11:13
全球最快高铁列车来了!CR450动车组样车发布:时速400公里 我国100%自研2025-01-07 10:26
[流言板]莫布利全场6投2中,得到7分7篮板1助攻1抢断3封盖2025-01-07 10:22
[流言板]末节被弃用!威金斯全场11中2,三分3中1,得到5分2板2助攻2025-01-07 10:02
手心输入法更新:自动下载360相关软件是三年前遗留内容2025-01-07 10:01
西蒙尼:我执教的动力是赢得欧冠,但更希望球员们变得更好2025-01-07 09:59
[流言板]詹姆斯背身强打造成威少犯规,威少非常不满与裁判理论许久2025-01-07 09:55
极品发言!埃弗顿租将莫派:过得不顺心我就看看埃弗顿的比分🙂2025-01-07 09:48