AIGC 浪潮吹起，NVIDIA 也在今年 GTC 宣布推出一系列服务，包含大型语言模型和生成式人工智慧工作负载的推论平台、协助企业建立、完善和运作自订的大型语言模型和生成式人工智慧模型云端，也宣布携手 Google Cloud 开发大型语言模型和生成式人工智慧推论模型。NVIDIA 宣布推出四款推论平台，可针对人工智慧生成应用程式进行调整，帮助开发人员快速建立专门的人工智慧应用程式，以提供新的服务和洞察。 这些平台将 NVIDIA 的整套推论软体与最新的 NVIDIA Ada、Hopper 和 Grace Hopper 处理器结合在一起，处理器方面还包括今日推出的 NVIDIA L4 Tensor Core GPU 及 NVIDIA H100 NVL GPU。各平台均针对有着严苛需求的不同工作负载进行了最佳化调整，包括人工智慧影片、影像生成、大型语言模型部署和推荐系统推论。根据官方介绍，每个平台都有一个针对特定生成式人工智慧推论工作负载进行最佳化的 NVIDIA GPU，以及专用软体：用于人工智慧影片的 NVIDIA L4 可以提供较 CPU 高出 120 倍的人工智慧影片生成效能，能源使用效率也高出 99%。NVIDIA L4 可以处理几乎所有工作负载，其提供了更强大的影片解码和转码能力、视讯串流、扩增实境、生成式人工智慧影片等。用于影像生成的 NVIDIA L40 针对绘图和人工智慧 2D、影片和 3D 影像生成进行了最佳化调整。L40 平台是用在资料中心建立和运行元宇宙应用程式之 NVIDIA Omnivers 平台的引擎，在执行 Stable Diffusion 时的推论表现是前一代产品的７倍，在运行 Omniverse 平台时的效能是前一代产品的12倍。用于部署大型语言模型的 NVIDIA H100 NVL 是部署像是 ChatGPT 等大规模 LLM 的理想选择。新款 H100 NVL 拥有 94GB 的记忆体及 Transformer 引擎加速功能，在资料中心规模上执行 GPT-3 推论作业的效能是前一代 A100 的12倍。用于推荐模型的 NVIDIA Grace Hopper 是图形推荐模型、向量图形资料库和绘图神经网路的理想选择。CPU 与 GPU 之间採用每秒 900 GB NVLink-C2C 连线技术，Grace Hopper 的资料传输和查询速度较 PCIe Gen 5 快上７倍。NVIDIA NeMo 让企业快速自订基础语言模型企业可以利用 NVIDIA NeMo 语言服务和 NVIDIA Picasso 图片、影片和 3D 服务，建立专属特定领域的生成式人工智慧应用程式，用于智慧聊天和客户支援、创作专业内容、数位模拟等作业。NVIDIA 今日还宣布推出用于生物学的 NVIDIA BioNeMo 云端服务全新模型。使用者可以利用网路浏览器来取得在 NVIDIA DGX Cloud 上运行的 NeMo 与 Picasso 服务。开发人员可以透过简单的应用程式设计介面（API），使用每个服务提供的模型。在準备好部署模型后，企业便能使用 NVIDIA AI Foundations 云端服务大规模地运行推论工作负载。 每项云端服务都有六项要素：预先训练好的模型、资料处理框架、向量资料库和个人化、最佳化的推论引擎、应用程式设计介面 ，还有 NVIDIA 专家群的支援，以帮助企业针对其使用需求来调整模型。NeMo 服务让企业快速自订基础语言模型 NeMo 云端服务让开发人员可以订定重点领域、增加特定领域的知识及教授功能技能，拉近大型语言模型（LLMs）与企业之间的相关性。而在模型大小上则不一，规模从 80 亿到 5300 亿个参数都有，会定期加入更多训练资料加以更新，在建立满足业务需求速度、準确性和任务複杂性的应用程式方面，为企业提供了更多选择。像是人工智慧数位工程公司，同时也是 NVIDIA 的服务供应伙伴之一 Quantiphi 使用 NeMo 来建立一个模组化的生成式人工智慧解决方案。企业使用这项产品，便能够量身打造配备最新资讯的 LLM，以提高知识工作者的生产力。NVIDIA Picasso 服务加快执行跨图片、影片和 3D 领域的模拟和创意设计工作 NVIDIA Picasso 云端服务用于建立及部署生成式人工智慧产生的图片、影片和 3D 应用程式，具有先进的文字到图片、文字到影片和文字到 3D 功能，利用简单的云端 API 来提高创意、设计和数位模拟的生产力。 软体开发商、服务提供商及企业可以使用 Picasso 服务，搭配自己的专有资料来训练 NVIDIA Edify 基础模型，以建立使用自然文字提示的应用程式，为上百个使用个案快速创建及自订视觉内容，包括产品设计、数位孪生、述说故事和角色建立。企业还能使用 Picasso 里一套预先使用完全授权资料打造出的 Edify 模型，建立客製化的应用程式。企业也可以使用 Picasso 来最佳化及运行自己的生成式人工智慧模型。携手 Adobe、图库平台NVIDIA 今日也宣布将扩大与 Adobe 长期研发合作关係，以建立新一式未来生成式人工智慧模型。双方将共同开发这些模型，透过 Photoshop、Premiere Pro 和 After Effects 等Adobe Creative Cloud 旗舰级产品，以及 NVIDIA Picasso 共同开发其中部分模型，并且将成果投入市场，以加速推动全球重量级创作者和行销人员的工作流程。NVIDIA 与全球视觉内容创造者及内容交易市集 Getty Images 合作训练负责任的生成式文字到图片，以及文字到影片基础模型，让用户只要透过简单的文字提示，就能产生出图片和影片，并且将使用 Getty Images 完全授权的资产进行训练。Getty Images 也将向艺术家提供这些模型所产生之任何收入的版税。NVIDIA 与品牌和媒体公司使用的全球创意平台 Shutterstock 合作，利用 NVIDIA Picasso 服务训练一个生成式文字到 3D 的基础模型，以简化製作精细 3D 模型的工作以及建立 3D 模型所需的时间，从原本的几天缩短到只要几分钟即可完成。将使用完全授权的 Shutterstock 资产和元资料来训练这个模型，Shutterstock 将透过投稿人基金来支付艺术家。上市时间部分，根据官方，NeMo 生成式人工智慧云端服务现为抢先体验阶段。Picasso 服务现为非公开专属预览阶段。开发人员可以使用各自的连结来申请使用这些服务。携手 Google Cloud 开发模型NVIDIA 宣布携手 Google Cloud 开发大型语言模型和生成式人工智慧推论模型，将 NVIDIA 生成式人工智慧推论平台加入 Google Cloud Vertex AI 服务；而 Google Cloud 是首个提供 NVIDIA L4 GPU 执行个体的云端服务供应商，L4 GPU 是一款适用于几乎所有工作负载的通用型 GPU，拥有更强大的人工智慧视讯功能，可提供较 CPU 高出120倍的人工智慧视讯效能，且能源使用效率也提高99%。核稿编辑：Chris加入 INSIDE 会员，独享 INSIDE 最精采每日趋势电子报，未来还有会员专属内容。 点击立刻成为会员！随着物联网（ Internet of Thing , 以下简称 IoT ）一步步进入日常生活， IoT 产品的需求和应用场景也不断增加。如果技术、创新是 IoT 产品成功的核心，在这竞争的环境下，「开发速度」就是 IoT 产品成功的指标竞争力。Arm 虚拟硬体（ Arm Virtual Hardware , 以下简称 AVH ）以「加速开发者的开发流程」为宗旨，将硬体模拟成软体模型，让开发者在硬体开发完成之前，就可以先分析负载量，甚至进行初步软体开发的验证。 Arm 应用工程总监徐达勇表示：「使用 AVH 可以缩短开发流程一年到一年半的时间，约可减少 30% 的开发时间。」 Photo Credit：TNL Brand Studio为缩短开发时间，Arm 虚拟硬体以增加 IoT 软体开发的弹性为基础，在云端空间模拟 Arm 架构单晶片系统模型（以下简称 SoC ）以及第三方开发板，使用者可虚拟扩展所需运算单位，从 Bare-metal 到 Linux 、Real-Time OS 开发环境都可执行。 Arm 希望透过 AVH ，在 IoT 软体开发流程中，实现 CI/CD 、 DevOps 、 MLOps 等协作概念，加速 IoT 开发。点我前往观看影片，完成登入步骤，即可免费领取星巴克 145 元星享饮料券乙份！提升开发者软体协作便利性，AVH 上公有云打造开放的 IoT 软体开发环境看準台湾 IoT 蓬勃发展下的大量需求， Arm 瞄準台湾的开发者，分析 IoT 的软体及机器学习开发常遇到的问题，包含应用碎片化、软体开发複杂度高导致开发时间增加、资安验证难落实、 OTA 测试效率低落、硬体测试不利于机器学习模型训练以及产品上市时间缓慢等。Arm 以 AVH 作为解决方案，以下列优势排除阻碍，协助 IoT 开发：软体提前开发：不需要等到 IC 设计製造拿到测试晶片，就可以开始软体开发落实提前测试（ Shift-left testing ）：软硬体测试一起开跑，开发过程中可同时测试运算能力，确认元件需求，并进行资讯安全等测试高扩展弹性：从简单的性能测试到机器学习模型训练，都可以使用，几秒钟内启动数千个虚拟开发板也不是问题AVH 让硬体开发中的软体 CI/CD 变得可能。 Arm 在 2022 年宣布与 Github 等其他多个 DevOps 、 MLOps 平台合作，加强 AVH 在软体协作上的实用性。 AVH 目前可在 AWS 和 Oracle 上取得，显现开放的决心。 此外，AVH 以简化开发者开发複杂度为目标，希望以协助 Arm 架构下的 IoT 软体开发为出发点，解决过往开发者容易遇到的问题，打造一个健康的生态系。Photo Credit：TNL Brand Studio以 CPU 运算单元为单位组成弹性产品，开放第三方虚拟开发板上架秉持着开放的理念， Arm 除了将 SoC 以运算单元为单位提供客户测试，也开放平台让第三方开发板厂商上架虚拟开发板。目前在 AVH 平台上，可以看到 Cortex-M 以及 Cortex-A 的单位 CPU 虚拟模型，也有以系统为单位的模型，如 Cortex-M3 搭配 Cortex-A35 的双核心系统，和利于通用运算和语音识别的开发场景的 Cortex-M55 及 Ethos-U55 异质整合系统模型。 Arm 以提供最小单元增加应用弹性，让使用者自由调配所需硬体配置。 为了更符合 IoT 的测试情境， Arm 也致力于开放第三方开发板厂商上架虚拟模型，目前已有 NXP 、 STMicroelectronics 和 Raspberry Pi 将虚拟开发板上架到 AVH 平台，而 Arm 也鼓励厂商开发并上架虚拟硬体，让世界各地的开发者可不受空间及硬体限制，随时可进行软体开发，因应大量的 IoT 开发需求。Photo Credit：TNL Brand StudioAVH 模拟 CPU 及开发板端行为， 着重开发前期「行为」正确性验证然而，你或许会想问，虚拟硬体和实体硬体，是否还是有落差？Arm 主任应用工程师张富祯强调，「 AVH 是用来测试行为是否正确」，性能表现则需要以实体硬体测试。 AVH 并非用来取代实体硬体，而是在开发者还没有实体硬体测试时，提供行为正确性的验证。 AVH 是基于行之有年的 Arm Fast Models 进一步延伸，为提供 IoT 开发者更友善的虚拟硬体平台而生，张富祯表示，产品架构的正确性，已被全球厂商重複验证过。Photo Credit：TNL Brand StudioAVH 除了模拟 CPU 的行为，同时也可以模拟板端的行为。假设开发板端有温度感应器， AVH 会模拟其沟通的状况，并回吐虚拟的资料。除此之外，板端的 Display 、 GPU 等元件行为也都可以模拟， AVH 也会根据元件的特性模拟其行为。如此一来，软体工程师可在硬体开发阶段，与硬体相辅相成，滚动式调整软硬体端的需求，提升软体开发之顺畅度。Zenoh 通信协定使用 AVH ，让云端开发与验证先行AVH 无疑提供了 IoT 软体开发新生机，应用方式也蓬勃发展。例如由凌华科技（ ADLINK ）投资的法国公司 ZettaScale 在其基于 Eclipse Foundation 开源专案开发的 Zenoh 。 Zenoh 是为了解决强即时性工业用的应用场域所开发的新一代通信协定，基于 pub/sub ，以资料为中心（ Data-Centric ），具有高性能、高可扩展性和去中心化全分散式架构的特点，适用于各种运算平台，小自 MCU 大到资料中心伺服器皆可支援。它可轻易应用于各式边缘计算（ Edge Computing ），如 IoT、机器人和自动驾驶等。 Zenoh 透过 AVH 虚拟化技术，让使用者可以轻易地创建虚拟大量节点以运行及验证 Zenoh ，并且可以透过 AVH 进行早期 IoT 或机器人应用之开发。例如，在实际场域可能部署多部装置，在取得硬体之前，开发者可先透过 AVH 配置出所需的虚拟装置，并使用 Zenoh 作为通讯媒介，在云端环境中先进行开发与验证。Arm 承诺持续丰富 AVH 生态链，邀请台湾 SoC 合作伙伴一起创造双赢Arm AIoT 方案资深经理黄晏祥表示， AVH 面向两大族群，除了 IoT 软体开发者， Arm 的 SoC 合作伙伴也可以透过 AVH 测试 IC 设计，而 ODM 和 SI 也可将开发板虚拟化上架到 AVH ，获得曝光，更增加产品可用性。Photo Credit：TNL Brand Studio未来，Arm 期望 AVH 成为一个自给自足的 IoT 开发生态系： SoC 业者可以直接将开发好的产品，製做成虚拟硬体上架到 AVH 平台，让 IoT 开发者进一步应用，打造双赢局面。Photo Credit：TNL Brand StudioArm 拥有完整的物联网全面开发解决方案，作为全球晶片架构领导厂商， Arm 以持续协助 IoT 开发者的开发为目标，承诺在虚拟硬体（ AVH ）投注资源，以加速 IoT 产业发展。 Arm 台湾也特别针对台湾 IoT 开发者製作影片（点此观看），协助开发者使用 AVH ，希望和 IoT 生态系中的每一位参与者共同推动台湾 IoT 产业向前。点我前往观看影片，完成登入步骤，即可免费领取星巴克 145 元星享饮料券乙份！