【產業信息速遞】英偉達最強對手，來了

北京半導體行業...

昨天

（信息來源：theregister）小心了，Jensen！谷歌憑藉其TPU 一次又一次地證明，重要的不是加速器的大小，而是它們在生產環境中擴展的效率。如今，隨着最新一代 Ironwood 加速器計劃在未來幾周內全面上市，Chocolate Factory 不僅擁有規模優勢，而且還配備了強大的張量處理單元(TPU)，足以與 Nvidia 的 Blackwell巨獸一較高下。谷歌的 TPU v7 ...

網頁鏈接

免責聲明：投資有風險，本文並非投資建議，以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請，作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考，不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證，投資者應自行研究並在投資前尋求專業建議。

熱議股票

{"basename":"/hant","ssrTDKData":{"titleTemplate":"%s - 老虎證券","title":"老虎证券全球投资理财平台| 一站式投资美股新股港股A股","description":"老虎证券助您一站式投资美股，新股，港股，A股等全球金融理财产品。新加坡华人最信赖的在线投资平台，现在加入即享低费用，24/5 无时差炒美股投资理财！","keywords":"老虎證券,老虎證券開戶,老虎券商,老虎證券官網,老虎證券app,tigertrade老虎證券,股票,炒股,新加坡股票交易平臺,投資,投資理財","social":{"ogDescription":"老虎证券助您一站式投资美股，新股，港股，A股等全球金融理财产品。新加坡华人最信赖的在线投资平台，现在加入即享低费用，24/5 无时差炒美股投资理财！","ogImage":"https://c1.itigergrowtha.com/portal5/static/media/og-logo.be62fbe1.png","ogUrl":"https://www.itiger.com/hant/news/2586217705"},"companyName":"老虎證券"},"pageData":{"isMobile":false,"isTiger":false,"isTTM":true,"region":"SGP","license":"TBSG","edition":"fundamental"},"isCrawlerRequest":true,"__swrFallback__":{"@#url:\"https://stock-news.skytigris.cn/v3/news\",params:#id:\"2586217705\",edition:\"fundamental\",auth_exemption:1,,,undefined,":{"share":"https://ttm.financial/m/news/2586217705?lang=zh_TW&edition=fundamental","thumbnail":"","is_english":false,"pubTime":"2025-11-27 14:52","share_image_url":"https://static.laohu8.com/9a95c1376e76363c1401fee7d3717173","id":"2586217705","market":"us","top_or_hot":-1,"title":"【產業信息速遞】英偉達最強對手，來了","media":"北京半導體行業...","content":"<div>\n<p>（信息來源：theregister）小心了，Jensen！谷歌憑藉其TPU 一次又一次地證明，重要的不是加速器的大小，而是它們在生產環境中擴展的效率。如今，隨着最新一代 Ironwood 加速器計劃在未來幾周內全面上市，Chocolate Factory 不僅擁有規模優勢，而且還配備了強大的張量處理單元(TPU)，足以與 Nvidia 的 Blackwell巨獸一較高下。谷歌的 TPU v7 ...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251127155253a4bd9491&s=b\">網頁鏈接</a>\n\n</div>\n","source":"tencent","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>【產業信息速遞】英偉達最強對手，來了</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 12.5px; color: #7E829C; margin: 0;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n【產業信息速遞】英偉達最強對手，來了\n</h2>\n<h4 class=\"meta\">\n<p class=\"head\">\n<strong class=\"h-name small\">北京半導體行業...</strong><span class=\"h-time small\">2025-11-27 14:52</span>\n</p>\n</h4>\n</header>\n<article>\n<div>\n<p>（信息來源：theregister）小心了，Jensen！谷歌憑藉其TPU 一次又一次地證明，重要的不是加速器的大小，而是它們在生產環境中擴展的效率。如今，隨着最新一代 Ironwood 加速器計劃在未來幾周內全面上市，Chocolate Factory 不僅擁有規模優勢，而且還配備了強大的張量處理單元(TPU)，足以與 Nvidia 的 Blackwell巨獸一較高下。谷歌的 TPU v7 ...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251127155253a4bd9491&s=b\">網頁鏈接</a>\n\n</div>\n\n<div class=\"bt-text\">\n\n\n<p> 來源：<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251127155253a4bd9491&s=b\">北京半導體行業...</a></p>\n<p>為提升您的閱讀體驗，我們對本頁面進行了排版優化</p>\n\n\n</div>\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"LU2125909247.SGD","symbol_name":"Natixis Thematics Meta H-R/A SGD","start_time":0,"source_url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251127155253a4bd9491&s=b","article_id":"2586217705","we_media_id":null,"thumbnails":[],"rights":{"source":"tencent","url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20251127155253a4bd9491&s=b","rn_cache_url":null,"customStyle":"body{padding-top:10px;}#news_title{font-weight:bold;#titleStyle#;}#news_description span{font-size:12px;#descriptionStyle#;}.footer-note{#statement#}","selectors":".mod-LoadTzbdNews, body","filters":".relate-stock, .hot-list, .recom-box, .wx-sou","directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2586217705","pubTimestamp":1764226367,"columns":[],"sourceInfo":{"source_id":"tencent","name":"腾讯"},"weMediaInfo":null,"summary":"從歷史上看，谷歌的 TPU 在原始FLOPS、內存容量和帶寬方面一直遠遜於英偉達以及最近的 AMD 等公司的當代 GPU，谷歌只是通過增加 TPU 的數量來彌補這一不足。英偉達的NVL72機架式系統利用其專有的NVLink互連技術，將72個最新的Blackwell加速器連接成一個單一的計算域。這種對可靠性的重視體現了從前五代TPU部署中汲取的經驗教訓。通過使用交換機，英偉達和AMD能夠確保其GPU與下一個芯片之間的距離最多不超過兩跳。Axion戰略體現了一種日益增強的信念，即未來的計算","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"LU2125909247.SGD":"Natixis Thematics Meta H-R/A SGD","LU0157215616.USD":"FIDELITY GLOBAL FOCUS \"A\" INC","LU0672654240.SGD":"FTIF - Franklin US Opportunities A Acc SGD-H1","LU0210528500.USD":"JPM AMERICA EQUITY \"A\" ACC","NVDS":"1.5倍做空NVDA ETF-Tradr","LU0316494557.USD":"FRANKLIN GLOBAL FUNDAMENTAL STRATEGIES \"A\" ACC","LU1674673428.USD":"HSBC GIF GLOBAL LOWER CARBON EQUITY \"AC\" (USD) ACC","LU1923622614.USD":"Natixis Thematics Meta R/A USD","NVIW.SI":"NVDA 3xLongSG261006","LU0109391861.USD":"富兰克林美国机遇基金A Acc","SGXZ23171101.USD":"NIKKO AM SHENTON GLOBAL OPPORTUNITIES (USD) ACC","LU1119994496.HKD":"FIDELITY WORLD \"A\" (HKD) ACC","IE00BDRTCR15.USD":"PINEBRIDGE GLOBAL DYNAMIC ASSET ALLOCATION \"ADC\" (USD) INC A","LU0289961442.SGD":"SUSTAINABLE GLOBAL THEMATIC PORTFOLIO \"AX\" (SGD) ACC","NVDU":"2倍做多NVDA ETF-Direxion","LU2242650005.HKD":"FIDELITY FUNDS GLOBAL MULTI ASSET DYNAMIC \"A\" (HKD) ACC","LU2264538146.SGD":"Fullerton Lux Funds - Global Absolute Alpha A Acc SGD","LU2168564495.EUR":"AZ ALLOCATION - TREND \"AI\" (EUR) ACC","LU0079474960.USD":"联博美国增长基金A","LU1934455863.HKD":"AB SICAV I LOW VOLATILITY TOTAL RETURN EQUITY PORT \"A\" (HKD) ACC","NVDX":"2倍做多NVDA ETF-T-Rex","IE00BK4W5M84.HKD":"HSBC GLOBAL FUNDS ICAV US EQUITY INDEX \"HC\" (HKD) ACC","LU0029864427.USD":"TEMPLETON GLOBAL \"A\" (USD) INC","GOOG":"谷歌","NVD":"2倍做空NVDA ETF-GraniteShares","LU0868494708.USD":"UBS (LUX) EQUITY SICAV - US TOTAL YIELD SUSTAINABLE \"P\" (USD) INC","NVDY":"NVDA期权收益策略ETF-YieldMax","BK4567":"ESG概念","BK4534":"瑞士信贷持仓","LU2089284900.SGD":"Allianz Global Sustainability Cl AM Dis H2-SGD","IE00B1BXHZ80.USD":"Legg Mason ClearBridge - US Appreciation A Acc USD","NVD2.UK":"2X NVIDIA ETP","GOOGL":"谷歌A","LU2417539215.USD":"ALLIANZ GLOBAL INCOME \"AMF\" (USD) INC","IE00BYXW3230.USD":"PINEBRIDGE GLOBAL DYNAMIC ASSET ALLOCATION \"AA\" (USD) ACC","LU2433249047.HKD":"THEMATICS META \"R/A\" (HKD) ACC","IE00BQXX3F31.USD":"GUINNESS GLOBAL INNOVATORS \"C\" (USD) ACC","SNVD.UK":"LS -1X NVIDIA","LU0187121727.USD":"FIDELITY SUSTAINABLE US EQUITY \"A\" (USD) INC","NVDD":"1倍做空NVDA ETF-Direxion","NVD3.UK":"LS 3X NVIDIA","LU1778281490.HKD":"HSBC GIF GLOBAL LOWER CARBON EQUITY \"AD\" (HKD) INC","2NVD.UK":"2X NVIDIA ETP","IE00BN29S564.USD":"JANUS HENDERSON BALANCED \"A3\" (USD) INC","LU2108987350.USD":"UBS (LUX) EQUITY SICAV GLOBAL OPPORTUNITY SUSTAINABLE (USD) \"P\" (USD) ACC","NVDS.UK":"LS -1X NVIDIA","LU0082616367.USD":"摩根大通美国科技A（dist）","NVDL":"2倍做多NVDA ETF-GraniteShares","LU1366333091.USD":"FIDELITY GLOBAL FOCUS \"A\" (USD) ACC","BK4588":"碎股","NVDA":"英伟达","3NVD.UK":"LS 3X NVIDIA"},"translate_title":"[Industry Information Express] Nvidia's strongest opponent is here","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"SNVD.UK":0.6,"NVDX":0.6,"NVIW.SI":0.6,"NVDY":0.6,"NVD2.UK":0.6,"NVDS.UK":0.6,"NVDU":0.6,"GOOG":0.9,"NVDS":0.6,"GOOGL":0.9,"NVD":0.6,"NVDD":0.6,"2NVD.UK":0.6,"NVDA":1.5,"3NVD.UK":0.6,"NVDL":0.6,"NVD3.UK":0.6},"content_text":"（信息來源：theregister）小心了，Jensen！谷歌憑藉其TPU 一次又一次地證明，重要的不是加速器的大小，而是它們在生產環境中擴展的效率。如今，隨着最新一代 Ironwood 加速器計劃在未來幾周內全面上市，Chocolate Factory 不僅擁有規模優勢，而且還配備了強大的張量處理單元(TPU)，足以與 Nvidia 的 Blackwell巨獸一較高下。谷歌的 TPU v7 加速器於 4 月份首次發佈，同時還與 El Capitan 超級計算機進行了滑稽的糟糕比較——不，Ironwood TPU Pod 的速度並不是美國能源部最大的鋼鐵機器的 24 倍——與前幾代相比，谷歌的 TPU v7 加速器在性能上有了重大飛躍。從歷史上看，谷歌的 TPU 在原始FLOPS、內存容量和帶寬方面一直遠遜於英偉達以及最近的 AMD 等公司的當代 GPU，谷歌只是通過增加 TPU 的數量來彌補這一不足。谷歌以 Pod（大型、可擴展的計算域）的形式提供其 TPU，每個 Pod 包含數百甚至數千個芯片。如果需要額外的計算能力，用户可以擴展到多個 Pod。在將浮點運算性能標準化到相同精度後，谷歌的 TPU v7 加速器提供的性能與英偉達 Blackwell GPU 的性能非常接近。每個 Ironwood TPU 都擁有4.6 petaFLOPS 的密集 FP8 性能，略高於Nvidia 的 B200 的 4.5 petaFLOPS，略低於 GPU 巨頭 Nvidia 更強大、更耗電的 GB200 和 GB300 加速器的5 petaFLOPS。該計算平台配備了 192 GB 的HBM3e 內存，提供 7.4 TB/s 的帶寬，這使其與英偉達的 B200（192GB HBM 和8TB/s 內存帶寬）處於同一水平。對於芯片間通信，每個 TPU 具有四個ICI 鏈路，可提供9.6 Tbps 的總雙向帶寬，而B200 和 B300 的帶寬為 14.4 Tbps (1.8 TB/s)。簡而言之，Ironwood 是谷歌迄今為止功能最強大的 TPU，其性能是 TPU v5p 的10 倍，是去年發佈的 TPU v6e「Trillium」加速器的 4 倍，並且大致與英偉達和 AMD 的最新芯片的性能相當。性能與規模相匹配但正如我們之前提到的，谷歌真正的訣竅在於能夠將TPU擴展到真正龐大的計算域。英偉達的NVL72機架式系統利用其專有的NVLink互連技術，將72個最新的Blackwell加速器連接成一個單一的計算域。AMD明年也將在其Helios機架式系統和MI450系列中實現類似的功能。相比之下，Ironwood 的規模就顯得龐大了。Ironwood不僅僅是對谷歌第六代TPU 的漸進式改進。根據該公司公佈的技術規格，與上一代產品相比，Ironwood 在訓練和推理工作負載方面的性能提升超過四倍——谷歌將這一提升歸功於系統級協同設計方法，而不僅僅是增加晶體管數量。該架構最引人注目的特點是其規模。單個 Ironwood「模塊」（由緊密集成的 TPU 芯片組成，作為一個超級計算機運行）可以通過谷歌專有的芯片間互連網絡連接多達 9216 個獨立芯片，傳輸速度高達每秒 9.6 太比特。為了更直觀地理解這個帶寬，它大致相當於在不到兩秒的時間內下載整個美國國會圖書館。這種龐大的互連架構使9216顆芯片能夠共享1.77PB的高帶寬內存——其速度足以跟上芯片的處理速度。這相當於約4萬部高清藍光電影的工作內存，可供數千個處理器同時即時訪問。谷歌在技術文檔中指出：「作為參考，這意味着Ironwood Pods的FP8 ExaFLOPS性能是其最接近的競爭對手的118倍。」該系統採用光路交換技術，構成一個「動態可重構架構」。當個別組件發生故障或需要維護時（在這種規模下，這種情況不可避免），OCS 技術會在幾毫秒內自動將數據流量繞過中斷點，從而使工作負載能夠繼續運行，而不會對用户造成任何可見的干擾。這種對可靠性的重視體現了從前五代TPU部署中汲取的經驗教訓。谷歌報告稱，自2020年以來，其液冷系統的整體正常運行時間一直保持在約99.999%的可用性水平——相當於每年停機時間不到6分鐘。需要明確的是，包含數十萬個英偉達GPU的計算集羣確實存在，而且實際上已經很常見。不同之處在於，在Blackwell架構之前，這些集羣都是使用八路GPU單元構建的，並以大規模橫向擴展的方式排列。英偉達的NVL72將計算單元的性能提升了九倍，但仍然遠不及谷歌的TPU POD。谷歌擴展計算架構的方法與英偉達截然不同。這家GPU巨頭為其機架級平台選擇了一種大型、相對扁平的交換機拓撲結構，而谷歌則採用了一種3D環面拓撲結構，其中每個芯片都以三維網格的形式與其他芯片連接。這種拓撲結構無需使用高性能數據包交換機，而高性能數據包交換機價格昂貴、耗電量大，並且在高負載下可能會引入不必要的延遲。雖然環面拓撲可以消除交換機延遲，但網狀拓撲意味着任何一個芯片與其他芯片通信可能需要更多跳數。隨着環面規模的擴大，芯片間延遲的可能性也會增加。通過使用交換機，英偉達和AMD能夠確保其GPU與下一個芯片之間的距離最多不超過兩跳。據我們瞭解，哪種方案更優取決於工作負載。某些工作負載可能受益於大型多跳拓撲結構，例如谷歌 TPU pod 中使用的 2D 和3D 環面，而另一些工作負載則可能在英偉達和 AMD 機架式設計所提供的較小規模的交換式計算域上表現更佳。因此，谷歌採用了一種不同的交換技術，使其能夠將 TPU 模塊切割成各種形狀和尺寸，以便更好地適應其自身內部和客户的工作負載。與你可能熟悉的包交換機不同，谷歌採用的是光路交換機（OCS）。這種交換機更像是20世紀的電話交換機。OCS設備使用多種方法（例如MEMS器件）將一個TPU連接到另一個TPU。由於這種連接通常是通過物理方式將一個端口連接到另一個端口來實現的，因此幾乎不會引入延遲。此外，OCS 還有助於提高容錯能力，因為如果 TPU 發生故障，OCS 設備可以將其從網絡中移除，並用正常工作的部件替換它。谷歌終於部署了自主設計的處理器儘管像谷歌Ironwood這樣的AI加速器在人工智能時代的計算領域往往搶盡風頭，但CPU對於應用程序邏輯、服務託管以及運行某些AI工作負載（例如數據採集）仍然至關重要。因此，除了第七代TPU之外，谷歌還在部署其首款基於Armv9架構的通用處理器，名為Axion。谷歌尚未公佈其 Axion CPU 的完整芯片規格：目前尚不清楚每個芯片的核心數量（除了 C4A Metal 實例最多可支持 96 個虛擬 CPU 和 768 GB DDR5 內存之外），也未公開時鐘頻率和工藝節點等信息。我們已知的是，Axion 基於 Arm Neoverse v2 平台構建，旨在提供比現代 x86 CPU 提升高達 50% 的性能和高達 60% 的能效，以及比目前雲端速度最快的通用 Arm 架構實例高出 30% 的性能。有報道稱，該 CPU 每個核心配備 2 MB 私有 L2 緩存，80 MB L3 緩存，支持 DDR5-5600 MT/s 內存，並支持統一內存訪問 (UMA)。Axion戰略體現了一種日益增強的信念，即未來的計算基礎設施既需要專用AI加速器，也需要高效的通用處理器。TPU負責運行AI模型這一計算密集型任務，而Axion級處理器則負責管理數據攝取、預處理、應用邏輯、API服務以及現代AI應用堆棧中的無數其他任務。早期客户反饋表明，這種方法能夠帶來可衡量的經濟效益。Vimeo 在初步的 N4A 測試中報告稱，與同類 x86 虛擬機相比，其核心轉碼工作負載的性能提升了 30%。ZoomInfo 的首席基礎設施架構師 Sergei Koren 表示，該公司在 Java 服務上運行的數據處理管道的性價比提升了 60%。軟件工具可以將芯片性能轉化為生產力如果開發者無法輕鬆利用硬件性能，那麼硬件性能就毫無意義。谷歌強調，Ironwood和Axion都集成到了其所謂的AI 超級計算機中——「這是一個集成了計算、網絡、存儲和軟件的超級計算系統，旨在提高系統級性能和效率。」根據 IDC 2025 年 10 月發佈的《商業價值快照》研究，人工智能超級計算機客户平均實現了 353% 的三年投資回報率、降低了 28% 的 IT 成本，並提高了 55% 的 IT團隊效率。谷歌公佈了多項旨在最大限度提高 Ironwood 利用率的軟件增強功能。谷歌 Kubernetes Engine現在為 TPU 集羣提供高級維護和拓撲感知功能，從而實現智能調度和高彈性部署。該公司開源的 MaxText 框架現在支持包括監督式微調和生成式強化策略優化在內的高級訓練技術。對於生產環境部署而言，谷歌推理網關最重要的優勢或許在於它能夠智能地在模型服務器之間進行請求負載均衡，從而優化關鍵指標。據谷歌稱，通過前綴緩存感知路由等技術，它可以將首次令牌延遲降低 96%，並將服務成本降低高達 30%。推理網關會監控關鍵指標，包括鍵值緩存命中率、GPU 或 TPU 利用率以及請求隊列長度，然後將傳入的請求路由到最佳副本。對於多個請求可能共享上下文的對話式 AI 應用，將具有共享前綴的請求路由到同一服務器實例可以顯著減少冗餘計算。戰勝競爭對手自 2021 年 TPU v4 發佈以來，谷歌就一直在其 TPU pod 中使用2D 和 3D 環面以及 OCS 設備。谷歌在生產環境中運行大規模計算架構方面也經驗豐富。其 TPU v4 支持最大 4096 個芯片的 POD，而 TPU v5p 則將其提升了一倍多，達到 8960 個芯片。因此，對於谷歌來説，Ironwood 將 TPU POD 的數量提升到 9216 個應該不成問題。這些海量計算資源的出現無疑引起了各大模型構建者的關注，其中包括那些與谷歌Gemini模型直接競爭的公司。Anthropic是谷歌最大的客户之一，該公司已宣佈計劃利用多達一百萬個TPU來訓練和運行其下一代Claude模型。考慮到模型開發商 Anthropic 還在Project Rainier下將其工作負載部署到亞馬遜數十萬台 Trainium 2 加速器上，而這些加速器在其計算結構中也採用了 2D 和 3D 環面網格拓撲結構，因此Anthropic 採用 Google 的 TPU 技術也就不足為奇了。儘管英偉達首席執行官黃仁勳可能會淡化人工智能ASIC對其GPU帝國的威脅，但很難忽視這樣一個事實：谷歌、亞馬遜等公司的芯片在硬件能力和網絡可擴展性方面正在迅速趕上，而軟件往往最終成為決定性因素。或許這就是為什麼分析師們每個季度都會不斷提出這個問題的原因。","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1,"need_auth":false,"code":"91000000","status":"200"}}}