peopleevents
梁斌penny 2024-10-10 13:03+08:00Z
原微博

//@有S型曲线的高叔叔:现在的端侧大模型都要依赖芯片公司的旗舰芯片里面的APU/NPU,我去年带团队搞的推理引擎可以用普通GPU甚至CPU就能打满带宽,吞吐基本持平NPU,只是prefill阶段比npu稍慢(可见npu做的有多烂)。

@梁斌penny

作为VIVO大模型的核心数据供应商,我厂应邀参加人类历史上首款大语言模型量产端侧智能手机(vivo PhoneGPT)的发布。。。3B参数的端侧大模型(大模型完全跑在手机上),可以了,基本服务群众日常生活够用了,同声传译,情绪按摩,大事小事给点参谋建议。不知道一台手机要多少钱,不贵的话,买一书包带走。。

上一页551/995每页 10总共 9943下一页