且由于当前内存市场价格波动,口外该玩家暂时没有升级更大容量内存的模型计划,依然能够稳定输出。老旧需用泡沫材料垫高以维持散热,笔记本逆由于10万token的袭玩长上下文对系统内存的要求极高,
由于这台笔记本仅有一个M.2接口,家用M接接
显卡供电则由独立750W电源负责,口外通过旧款联想笔记本唯一的模型M.2接口外接桌面级显卡RX 7900 XT,为此他不得不拆除内部固态硬盘,老旧成功外接RX 7900 XT显卡,笔记本逆该玩家通过一根M.2-to-PCIe转接延长线,袭玩
不过,同时因为维护难度和内存限制,
8月25日消息,笔记本原有的16GB系统内存已经被完全占满。近日一名Reddit玩家展示了他的硬核改装方案,老旧平台的短板也在此次实验中显露无遗,目前该核心组件已经搬迁至一台低成本的AM4台式机平台。
即便在10万(100K)token的超长上下文窗口下,实现了本地运行270亿参数大模型的目标。在开启Vulkan后端及Flash Attention后,
性能表现方面,并将Windows系统安装在外部移动硬盘上通过USB启动。且机身底盖因线缆干扰无法正常闭合,笔记本机身完全不承担显卡供电任务,其生成速度稳定在55-60token/秒。