英伟达宣布了TensorRT-LLM 开源库

发布时间：2024-01-06 14:27:54 所属栏目：产品来源：DaWei

导读： 英伟达是硬件领域的生成型人工智能之王，该公司的 GPU 为微软、OpenAI 等公司的数据中心提供动力，运行着 Bing Chat、ChatGPT 等人工智能服务。今天，英伟达宣布了一款新的软件工具，旨在提

英伟达是硬件领域的生成型人工智能之王，该公司的 GPU 为微软、OpenAI 等公司的数据中心提供动力，运行着 Bing Chat、ChatGPT 等人工智能服务。今天，英伟达宣布了一款新的软件工具，旨在提升大型语言模型（LLM）在本地 Windows PC 上的性能。

英伟达宣布了其 TensorRT-LLM 开源库，这个库之前是为数据中心发布的，现在也可以用于 Windows PC。最大的特点是，如果 Windows PC 配备英伟达 GeForce RTX GPU，TensorRT-LLM 可以让 LLM 在 Windows PC 上的运行速度提高四倍。

在更大的批量大小下，这种加速可显著改善更复杂的 LLM 使用体验，如写作和编码助手，可同时输出多个唯一的自动完成结果，从而加速性能并改进质量，让用户可以有最好的选择。此外，它还支持自动生成文档，并提供更多功能，包括自动检测错误、自动分析问题、自动更新和报告等。

使用 RAG 将 GeForce 新闻添加到向量库中，并连接到相同的 Llama2 模型，不仅得到正确答案——NVIDIA DLSS 3.5、NVIDIA Reflex 和全景光线追踪，而且在 TensorRT-LLM 加速的助力下响应速度更快。这种速度与能力的结合为用户提供更智能的解决方案。此外，它还支持nvidiageforcertx3060独立显卡，可以提供出色的游戏体验。

英伟达今天还在新的 GeForce 驱动更新中增加了一些基于人工智能的功能。其中包括新的1.5 版本的 RTX Video Super Resolution 功能，可以在观看在线视频时提供更好的分辨率提升效果和更少的压缩效果。英伟达还为 Stable Diffusion Web UI 增加了 TensorRT 人工智能加速功能，从而让这些拥有第三代GeForce RTX GPU 的用户可以比正常情况下更快地从人工智能自动生成的图片生成器那里获得高分辨率的图像。

（编辑：江门站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!