【黃仁勳GTC大會總結】

1、此次會議談論到了三個動態，主要涉及可持續發展、生成式AI、數字化。

1.

動態1：可持續發展：摩爾定律的發展已經終結，英偉達在過去若幹年的時間裏，一直落地加速計算的發展。截至目前，英偉達在加速計算領域做到了全棧式布局，從架構、到系統、到軟件、到加速庫再到對應的應用程序。

1.

英偉達加速計算，可以做到橫向擴展、向上擴展、向外擴展，產品更具有靈活性。

1.

英偉達的加速計算平台也被用到多個領域（粒子物理學、流體動力學，直到機器人 (10.99, 0.02, 0.18%)學、人工智能等等,計算機圖形學、圖像處理，視頻處理）今天,所有這些類型的領域都消耗了大量的 CPU 內核和大量的電力。我們有機會加速所有這些,降低功耗,降低成本。

1.

NVIDIA 的加速計算平台是從雲到邊緣的。這是每個雲中唯一可用的架構。世界上幾乎所有的計算機制造商都可以在本地使用它。它可用於推理系統、邊緣系統、機器人自動駕駛汽車等等。同時英偉達的加速平台是完全开放的。這意味着您幾乎可以從世界上任何地方的任何計算平台。

1.

動態2：生成式AI有望引發人工智能的轉折點。伴隨着生成式AI的發展，我們經歷了從世界感知到信息生成，生成式 A 引發了人工智能的轉折點，並推動了 A 在全球範圍內採用的階梯式增長。非常重要的是，人們部署在全球所有雲和數據中心的推理量的量也在大幅的增加。

1.

動態3：數字化有望是人工智能的下一代浪潮。數字化的發展，有望將人工智能帶入下一階段，即下一波 AI 浪潮。在這一階段中， AI 不僅對數字信息進行操作、生成文本和生成圖像。 AI將在運營工廠、實體工廠、自主系統和機器人技術。 在這種特殊情況下，數字化真正有機會使世界上一些最大的行業實現自動化。

2、此次會議談論到了四個要點，主要涉及生成式AI、硬件上市動態、加速庫、雲服務

1.

要點1：生成式AI推動對英偉達加速平台的需求增長。

1.

生成式 AI 正在推動對 NVIDIA 平台的需求加速增長。Hopper 設計了一個 transformer 引擎，該引擎專爲大型語言模型和人們現在所說的基礎模型而設計。隨着 Hopper 的推出，Hopper 已經被幾乎所有的雲服務提供商所採用。

1.

要點2：硬件上市動態—新推出DPU BlueField-3，Grace Hopper已投入生產。在AI推理領域新推出四種產品。

1.

數據中心並非是一個單純的計算機，而是一個巨型系統精心編排和運行的計算機群。該計算集群中的操作系統（包括容器化、虛擬化）、網絡、存儲、安全性等指標均非常重要。這些應用程序的隔離和未來的機密計算是在軟件定義層中運行，該軟件層消耗大量 CPU 內核。

1.

新推出DPU BlueField-3。英偉達新推出的BlueField可實現“卸載、加速現代軟件定義數據中心的操作系統”等功能，若幹合作夥伴和雲數據中心廠商正在採用BlueField產品。

1.

Grace Hopper已投入生產，並進行抽樣測試階段。該產品主要用於主要的推理工作負載之一、矢量數據庫、數據處理、推薦系統。人工智能推理系統是世界上最有價值和最重要的應用程序之一，目前推薦系統正在轉向深度學習。Grace Hopper 是專門爲此設計的，它讓我們有機會在大型數據庫的推薦系統中獲得 10 倍的加速，目前Grace已投入生產，並進行抽樣測試階段。

1.

Grace 專爲無法加速的雲數據中心中的其余工作負載而設計。 一旦你加速了一切，剩下的就是真正想要擁有非常強大的單线程性能的軟件。 而單线程性能正是 Grace 的設計目標。 我們還將 Grace 設計爲不僅是快速計算機的 CPU，而且是非常非常節能的雲數據中心的 CPU。 當你把整個數據中心看成一台電腦時，當數據中心就是電腦時，那么你在加速數據中心、AI-first、cloud-first 數據中心的背景下設計 CPU 的方式，那個 CPU 設計就是 完全不同。

1.

新推出4個推理平台（L4、L40 、H100 NVL和Grace-Hopper），針對各種快速興起的生成式 AI 應用程序進行了優化。

1.

數據中心對於AI推理的加速訴求較強，但是該領域中的訴求是多模態的，AI推理的工作負載類型較多（有時，您想進行推理，將推理和 AI 引入視頻，然後使用生成 AI 對其進行增強。 有時，它是圖像，產生美麗的圖像並幫助成爲共同創造者。 有時，您正在生成文本，非常長的文本）。這些應用程序中的每一個，視頻、圖像、文本，當然還有矢量數據庫，它們都有不同的特徵，這給數據中心的建設帶來了挑战。因爲下遊客戶需要每一種模式或每一種不同的生成 AI 工作負載配備專門的加速器。同時，數據中心的服務和租戶也是在不斷變化的。

1.

針對上述挑战，英偉達採取了基於一個架構四個配置的策略（L4、L40 、H100 NVL和Grace-Hopper），能夠最大力度加速各種工作負載。

1.

目前公司在此領域，正在加大與谷歌的合作。

1.

要點3：加速庫—2023年優化並發布100個庫、100個模型，cuLitho加速庫是今年重要看點

1.

如果你加速工作負載，你必須重新設計應用程序，必須完全重構算法，將算法編碼到加速庫中。在建立每一個加速庫的過程中，我們都需要了解此領域中的動態和進展，並與產業鏈的合作夥伴合作，創建加速庫，並將他們鏈接到具體的應用程序生態系統，並推動和加速該領域的發展。對於英偉達來講，客戶購买了英偉達的系統，可以在未來幾年內享受加速服務。在同一平台上，在您安裝它之後，在其整個生命周期內將性能提高 4到10倍。

1.

2023年，英偉達優化並發布了100 個庫和 100 個模型。

1.

在此次大會上，我們推出了cuLitho加速庫，用於半導體光刻工藝的圖案和掩模的創建。過去4年時間裏，我們將cuLitho加速庫的速度提高了約50倍。依托該加速庫，一方面可以降低芯片設計中的計算時間&流水线時間和時間（如果將开發周期減少10%，對世界的價值很大），另一方面可以大幅降低電力成本的（未來有機會降低5-10倍）

1.

要點4：雲服務—歷史上商業模式最大的一次擴張

1.

雲服務使得消費者有機會通過Web瀏覽器加速或者及時的使用計算平台。在過去10年時間裏，雲服務的能力在不斷進步，從最开始只有CPU、運行Hadoop或者MapReduce或者做查詢，到現在有高性能計算，科學計算 系統，雲中的 AI 超級計算機。 因此，我們將與世界上所有的雲服務提供商合作。 從Orical开始，我們還宣布了與Azure和GCP的雲合作夥伴關系。 我們將與世界領先的雲服務提供商合作，在雲端實施、安裝和托管 NVIDIA AI、NVIDIA Omniverse 和 NVIDIA DGX Cloud。 這樣做，可以使得消費者能夠獲得 NVIDIA AI 和 NVIDIA Omniverse 的完全優化的多雲堆棧，而且有機會在雲端享受最優化的配置，以最佳形式獲得 NVIDIA 軟件堆棧的所有優勢。

1.

對於那些工作量非常大並且希望從加速中受益的公司來說，最先進的人工智能的好處我們現在有一個直接的服務，我們可以在其中參與世界各行業。 這是我們將 NVIDIA 帶來的最好的東西和所有 CSP (11.750, -0.080, -0.68%) 的最好的東西結合起來的絕妙方式。 他們爲雲安全、存儲安全以及他們提供的所有其他 API 服務提供了令人難以置信的服務，而且他們很可能已經成爲您選擇的雲。

1.

宣布了平台及服務（NVIDIA AI，NVIDIA Omniverse）、技術設施及服務（NVIDIA DGX Cloud）產品，拓展了公司的商業模式。

1.

如果一個企業的客戶，如果一個行業想要訪問基礎模型，最明顯和最容易獲得的是與世界領先的服務提供商合作，如 OpenAI 或微軟 (272.290, -1.490, -0.54%)和谷歌。 這些都是旨在爲許多行業提供高可用性、高度靈活性和實用性的 AI 模型示例。

1.

有些公司希望構建專門基於其數據的自定義模型，而 NVIDIA 擁有實現這一目標的所有能力。 因此，對於希望基於其專有數據構建定制模型的客戶，以其特定方式進行訓練、开發和推理； 無論是他們想要放置、實施的護欄，還是他們想要執行的指令類型、調整。

1.

DGX 雲在世界上所有主要的 CSP 中運行。 因此，如果您已經有了自己選擇的 CSP，英偉達能夠在其中托管它。

【分析師Q&A】

Q1：鑑於您所談到的推薦系統的重要性、LLM 的增長以及您與 Google 的合作，市場似乎正在朝着您的方向發展。 我們應該如何考慮你在 3 到 5 年後的推理機會，我們應該如何看待 Grace 在未來幾年在那裏扮演的角色？

1.

3 到 5 年後，我們今天正在建造的 AI 超級計算機，毫無疑問是當今世界制造的最先進的計算機。 當然，它的規模是巨大的。 它包括計算結構，如 NVLink、計算——大型計算、大規模計算結構，如 InfiniBand，以及將它們縫合在一起的非常復雜的網絡。 軟件棧，它的操作系統，分布式計算軟件，它只是計算機科學的極限。

1.

推理目前主要是面向 CPU 的工作負載（推薦與購物、書籍或查詢、視頻處理等相關的內容）， 這是因爲當今世界上的大多數推理都相當輕量級。 但是我們認爲這一趨勢正在被改變，主要原因包括以下兩個方面：

1.

使用CPU做推理缺乏可持續性。 您不能繼續承擔這些視頻工作負載並在 CPU 上處理它們。 你不能拿這些深度學習模型，即使服務質量差一點或好一點，用 CPU 來做，它只會消耗太多電力。而且這種敏感性現在已經滲透到幾乎每一個雲服務提供商，因爲他們擁有的需要加速的工作量已經增加了很多。 所以他們對加速的關注，他們對加速的警覺性提高了。 其次，幾乎每個人都處於他們的權力極限。 因此，爲了在未來實現增長，您真的必須通過加速來重新獲得動力，然後再將其恢復增長。

1.

生成式人工智能已經到來。 我們將看到幾乎每一個行業，從共同創造者、共同試點中受益，從共同創造者、共同試點中擴大，加速我們所做的一切，從我們創建的文本、我們與之交互的聊天機器人、我們使用的電子表格、PowerPoint 和 Photoshop 等等 依此類推，它們都將成爲——你將被共同創造者或副駕駛增強，你將被加速，受到啓發。

Q2：過去，您主要討論了結合使用 Grace 和 Hopper 的好處。 今天，您也比我預期的更關注獨立的 Grace。 您能否談談您是否改變了對預期服務器 CPU 份額增長前景的看法？ 隨着時間的推移，我們應該如何考慮潛在的收入貢獻，特別是當你考慮 Grace 獨立、Grace 超級芯片，然後顯然是 Grace-Hopper 組合時？

我認爲 Grace 對我們來說將是一項大業務，但它會——它遠不及加速計算的規模。我們看好Grace未來業務的增長，主要是看好加速工作在計算機圖形學、視頻處理、生成式AI等領域中的未來發展趨勢。

對於單线程代碼，阿姆達爾定律仍然有效，其它的都已到達瓶頸。由於單线程代碼主要與數據處理、獲取大量數據、移動大量數據相關，我們設計的CPU是同時擅長處理兩個事情（具有極佳的單线程性能，移動數據量非常大）。

我們設計了整個系統，而不是只構建一個超快的 CPU 核心——CPU，我們設計了一個超快的 CPU 節點。 通過這樣做，我們可以增強功率受限的數據中心能夠使用盡可能多的 CPU 的能力。 我認爲總的來說，加速計算將成爲未來計算的主要形式，因爲摩爾定律已經走到盡頭。 但剩下的將是繁重的數據處理、繁重的數據移動和單线程代碼。 因此 CPU 仍將非常非常重要。 只是設計點會與以往不同。

Q3：每次查詢的成本正成爲生成式 AI 客戶的主要關注點，他們正在談論在未來幾個季度和幾年內大幅減少。 您能談談這對 NVIDIA 意味着什么嗎？ 從長遠來看，這會成爲 H100 工作負載嗎？ 你們如何與客戶合作以降低成本？

是的，您講的幾個東西是在同時發生的。

1.

模型將變得更大。 它們之所以會變大，是因爲我們希望它能越來越好地執行任務。 有各種證據表明，模型的能力、質量和多功能性與模型的大小以及您用來訓練該模型的數據量相關。 我們希望它越來越大，用途越來越廣泛。

1.

我們是有不同類型的工作負載，但是我們並不是都需要最大的模型來推斷每個工作負載，大模型是用來幫助提高小模型的質量的。這就是爲什么我們有 5300 億參數模型，我們有 400 億參數模型，我們有 200 億參數模型甚至 80 億參數模型。

1.

我們對所有這些變化進行了優化，產品矩陣包括L4/L40/H100NVL/Grace Hopper。 （a）您應該爲合適大小的應用程序使用合適大小的模型，所以我們的推理平台從 L4 一直延伸到 L40。（b）H100 NVL用於大型語言模型部署，非常適合大規模部署 ChatGPT 等大型 LLM。

1.

軟件端也在不斷的改進中。我們不斷改進軟件堆棧 在過去 2、3 年的過程中，我們已經改進了很多，我的意思是在短短幾年內改進了幾個數量級。

Q4：與谷歌的合作情況，是否採用最新的L4平台。換句話說，他們使用的是 TPU，但他們現在使用的是您的新 L4 平台？

1.

我們與 GCP 的合作是一個非常非常大的事件。 它是人工智能的轉折點，也是我們合作夥伴關系的轉折點。 我們有很多工程師一起工作，將谷歌擁有的最先進的模型帶到雲端。

1.

L4 是一個多功能的推理平台。 您可以將其用於視頻推理、生成模型的圖像生成、大型語言模型的文本生成。 我在主題演講中提到，我們正在與谷歌合作开發一些模型，以將其引入 L4 平台。 因此 L4 將成爲一個非凡的推理平台。 它非常節能。 它只有 75 瓦

Q5：Hopper的可用性怎么樣，供應鏈是否有保證？

是的，我們確實會繼續構建 H100 以滿足本季度我們都看到的需求。我們也看到我們的超大規模客戶對我們所有數據中心平台的更強烈需求，因爲他們專注於生成 AI。

因此，即使在上個月，自從我們談到收益後，我們也看到越來越多的需求。 因此，我們相信，隨着我們繼續建立供應，我們將能夠爲這個市場服務。

Q6：公司在軟件領域中的營收和創新景氣度如何？我記得之前的營收體量大概在幾億美元，營收佔比約1%。往未來看的話，您認爲軟件和訂閱佔您銷售額的百分比是多少？增長動力來源於哪些方面？

我認爲軟件和服務將成爲我們業務的重要組成部分。我們是一家平台型全棧式公司，與客戶的合作模式包括以下三種。

1.

基礎設施&硬件層面合作

1.

硬件層面&庫層面合作

1.

服務級別&所有級別合作。

目前，生成式AI技術的發展，已經推動了硬件業務的發展。

目前，世界是多雲的，我們能夠提供多雲&混合雲的能力，這對於我們兩個軟件平台來講也是有利的。

我們的AI基礎服務是這個月才剛剛开始，也是我們未來將重點發力的方向。

Q7：只是從技術角度考慮內存和計算之間關系的問題。 正如您提到的，這些生成式 AI 模型正在創造大量計算。 但是您如何看待內存模型？ 您是否將內存視爲潛在的瓶頸？ 那么如何解決內存分解問題呢？

1.

事實證明在計算中，一切都是瓶頸（CPU、內存、帶寬、內存容量、網絡、結算結構、網絡、利用率等等）。

1.

在計算過程中，我們使用的內存容量正在急劇增加。但是，我們不僅需要大量數據，還需要大量快速數據。我們需要的是類似於 Grace Hopper 所做的事情。 我們需要以每秒 TB 的速度訪問 0.5 TB 的數據。 如果我們每秒有 1 TB 到 0.5 TB 的數據，如果您想在分布式計算系統中擁有 1 PB 的數據，想象一下我們要承受多少帶寬。 因此，這種非常高速、非常大容量的數據處理方法正是 Grace Hopper 的設計目標。

Q8：是否可以談談 DGX 雲業務的經濟性。 就像誰實際爲其中的基礎設施付費一樣——雲供應商是否爲您支付了費用，然後您將其租回，所以您正在運行它？ 或者我猜它是如何工作的？ 然後客戶如何付款？ 誰從客戶那裏獲得優勢和經濟效益？ 你是如何定價的？

該業務开展的步驟包括以下三步：

我們向合作夥伴提出想法，提出建立DGX Cloud的合作意愿。

如果他們感興趣，他們會購买系統——包括其他人的設備，但也包括我們的設備來支持 DGX 雲。 因此，雲服務提供商採購任何東西——任何基礎設施、電力、網絡、存儲等等，以便建立基礎設施並托管和管理它。

我們將 DGX 雲服務推向市場，結合我們將提供的所有價值，我們將設定價格並吸引客戶並直接參與客戶業務。

Q9：公司的商業模式正在由銷售加速卡向銷售系統轉變，對於公司後續的利潤率影響如何？

1.

如果你不構建軟件，那么你就不能做到軟件的开發。爲了創建一個軟件，你必須有一個系統。這是我們公司的發展情況。

1.

作爲一家系統公司，NVIDIA 的獨特之處在於，我們從數據中心向下構建整個系統。我們從數據中心开始構建整台計算機。 未來，數據中心就是計算機。 整個數據中心就是計算機。 這就是我十年來一直在談論的事情。 這是我們與 Mellanox 的合並如此具有战略意義、如此重要的原因之一。

1.

我們看待世界的方式，我看待世界的方式是整個數據中心。所以你必須從那裏开始思考世界。 這包括計算元素，包括系統，包括網絡和存儲以及計算結構和 CPU 等等，一直到系統軟件堆棧，非常重要的是算法和庫。 我們將其設計爲數據中心。 我們設計它的方式，我們有紀律地設計它，這樣我們就可以分解它，細分它。

1.

我們在軟件的所有層面與行業合作，然後我們分解系統、組件、系統軟件，我們分解庫，你可以在任何你喜歡的地方運行它，從工作站、個人電腦，所有 上雲或超級計算機。 我們分解了網絡，我們分解了交換機。 我們將所有內容分解开來，或者我們很高興爲您將它們整合在一起。如果您希望我們在30天內爲您安裝一台超級計算機，那是有可能的。我認爲，這就是我們能夠一方面成爲一家系統公司並开發軟件，另一方面成爲一家隨處可用的計算平台公司的原因之一。

Q10：DGX Cloud業務，公司是如何與微軟合作的？

1.

如果 CSP 希望與客戶建立直接關系，我們會很高興。 這樣做的原因是因爲他們的雲中有一大堆 NVIDIA GPU。 他們的雲中有 NVIDIA 計算。 無論如何，我們的軟件平台都在他們的雲中。 如果客戶想以這種方式使用它，他們可以下載 NVIDIA AI enterprise。 他們可以運行他們的堆棧等等。 一切都像今天一樣運作。

1.

但是，有許多客戶愿意或需要與我們合作，因爲我們重構了他們的整個堆棧。 我們擁有專業知識，因爲我們了解整個堆棧，了解如何解決否則幾乎不可能出現的問題。我們擁有幫助他們做到這一點的專業知識。 因此，在這些情況下，他們需要直接接觸我們的工程師和計算機科學家。

1.

我們正在與行業領導者合作，他們希望基於自己的平台構建非常特別或非常專有的東西，他們只需要我們的計算專業知識，使他們能夠以他們想要的規模、在 他們想要的多雲範圍或他們想要降低的成本和功率水平。 在這種情況下，他們會聯系我們。 現在請注意，如果我們成爲直接客戶界面，我們仍會邀請我們的 CSP 合作夥伴，因爲我們不提供存儲，我們不提供其余 API，我們不提供安全性。 必須遵守許多工業安全和隱私以及數據管理法規和標准。 世界領先的 CSP 擁有這些專業知識。 因此，將會發生很多合作。

Q11：公司之前做了T4，現在新的版本是L4。從這兩個產品，您是如何理解AI推理市場，CPU的地位是否發生了變化？是行業哪些東西發生了變化，讓您覺得小模型需要轉向加速運算？

T4 是我們歷史上最成功的產品之一，數以百萬計的 T4 在雲端。 但是，雲端有數千萬個CPU。 因此，雲中仍有大量工作負載是在 CPU 上完成的。

小模型轉向加速計算的原因有兩個：一個是可持續，另一份是生成式AI的發展。

Q12：NVL的功耗約700W，但是會給客戶增加很多功能。站在客戶的角度，客戶會如何部署他們？

750瓦，在如今的雲數據中心裏不算什么。通過NVL您可以更換數百台 CPU 服務器，主要是加速所導致的。 你加速的原因是你花費了 700 瓦，這樣你就可以節省 10 倍。 所以 700 瓦或 7 千瓦，這就是數學。

本文作者可以追加內容哦 !