英伟达Perplexity本地智能体向Windows RTX PC开放

AI 驱动中国 闻溪 1,255次阅读
分享 Q
AI摘要
由 AI 生成 · 仅供参考

英伟达宣布Perplexity本地智能体Portable Computer已向Windows RTX PC开放,将AI助手能力引入端侧设备,提升本地推理效率与隐私保护。

驱动中国9月14日消息,英伟达宣布其与Perplexity合作打造的本地智能体Portable Computer已正式向Windows RTX PC用户开放。这一举措标志着AI助手从云端依赖向端侧部署迈出关键一步,用户可在搭载RTX显卡的Windows设备上直接运行高性能本地推理任务。

Portable Computer并非传统意义上的硬件产品,而是基于Perplexity大模型能力与英伟达RTX GPU加速技术融合的本地化智能体解决方案。它利用RTX显卡的Tensor Core单元进行模型推理加速,使复杂的自然语言处理任务无需上传云端即可在本地完成,从而显著降低响应延迟并增强数据隐私保护。

从技术架构看,该智能体针对Windows RTX PC的硬件特性进行了深度优化。英伟达通过TensorRT-LLM推理框架对模型进行量化与编译,使得在消费级显卡上运行数十亿参数级别的语言模型成为可能。Perplexity的搜索与问答能力结合本地知识库索引,可在离线状态下提供接近在线服务的响应质量。

此次开放对AI行业具有多重意义。一方面,它验证了端侧AI在复杂任务上的可行性,为PC厂商提供了差异化卖点;另一方面,它推动了AI工作负载从集中式数据中心向分布式终端迁移的趋势。对于企业用户而言,敏感数据不出本机的特性尤为关键,可满足金融、医疗、法律等行业的合规要求。

英伟达在AI基础设施领域的布局正从云端向边缘延伸。此前其推出的RTX AI PC计划已吸引多家OEM厂商参与,而Portable Computer的落地进一步丰富了端侧AI的应用场景。Perplexity作为新兴AI搜索服务商,其与英伟达的合作也反映出大模型应用层与硬件层的协同创新正在加速。

值得注意的是,本地智能体的性能表现仍受限于显卡显存容量与算力水平。入门级RTX显卡可能仅能运行精简版模型,而高端型号则可支持更大规模的上下文窗口。英伟达表示,后续将持续优化模型适配,并计划扩展至更多RTX产品线。

随着生成式AI进入规模化部署阶段,端侧推理的价值愈发凸显。Portable Computer的开放不仅为Windows用户带来更便捷的AI体验,也为整个PC产业注入了新的增长动力。行业观察人士认为,类似的本地方案将成为未来PC产品的重要竞争力之一。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com
本文价值 3.3 3 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录
我要投稿有独家观点或行业线索?向驱动中国投稿,审核采用后署名发布并获积分奖励。 去投稿 ›

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友