低延遲高密度光互連 (HDI/O) 提供商 Nubis Communications, Inc. 和全球技術(shù)基礎(chǔ)設(shè)施的高速連接和計算芯片領(lǐng)域的公司Alphawave Semi 宣布，即將展示 PCI Express 6.0 技術(shù)，該技術(shù)通過光鏈路以每通道 64GT/s 的速度驅(qū)動。

數(shù)據(jù)中心提供商正在探索使用 PCIe over Optics 來極大地擴展內(nèi)存、CPU、GPU 和定制硅加速器互連的范圍和靈活性，從而為人工智能和機器學(xué)習 (ML/人工智能）架構(gòu)。

Nubis Communications 和 Alphawave Semi 將在 DesignCon（先進芯片、電路板和系統(tǒng)設(shè)計技術(shù)的領(lǐng)先會議）的泰克展位上進行現(xiàn)場演示。具有 PiCORE 控制器 IP 和 PipeCORE PHY 的 Alphawave Semi PCIe 子系統(tǒng)將通過 Nubis XT1600 線性光學(xué)引擎直接驅(qū)動和接收 PCIe 6.0 流量，以每根光纖 64GT/s 的速度演示 PCIe 6.0 光學(xué)鏈路，并在泰克采樣上測量光學(xué)輸出波形帶有高速光學(xué)探頭的示波器。

與銅纜相比，可以利用光傳輸技術(shù)在相同帶寬下大大延長鏈路距離，支持更大的集群規(guī)模，以支持分布在多個節(jié)點上的更大的 AI/ML 服務(wù)器，并實現(xiàn)新的分解網(wǎng)絡(luò)架構(gòu)的創(chuàng)新。Nubis XT1600 光學(xué)引擎支持多達 16 通道高密度 PCIe Gen 6.0 或 100 Gbps/通道以太網(wǎng)光學(xué)連接，無需合并重定時器。

“我們在單個低功耗、低延遲光學(xué)引擎中實現(xiàn)了 16 通道全雙工的高水平集成，非常適合用于下一代計算和存儲部署的 PCIe x16 的最大帶寬，”副總裁 Scott Schube 說道Nubis Communications 營銷學(xué)博士。“我們對 Nubis XT1600 線性光學(xué)引擎和 Alphawave Semi 的 PCIe 6.0 控制器和 PHY IP 的演示展示了 PCIe? 6.0 x8 光纖鏈路以 64 GT/s 的可行性。”

“人工智能應(yīng)用程序正在重塑數(shù)據(jù)中心網(wǎng)絡(luò)，超大規(guī)模企業(yè)部署了越來越大的分布在更遠距離的分散服務(wù)器集群。這一轉(zhuǎn)變引起了我們的一些客戶對 PCIe over Optics 的濃厚興趣。”Alphawave Semi 首席技術(shù)官 Tony Chan Carusone 說道。“通過與 Nubis 的合作，我們很高興展示我們?nèi)绾卫?Alphawave Semi 在連接 IP 和芯片方面的領(lǐng)先地位來實現(xiàn) PCIe 光學(xué)連接解決方案，從而加速高性能 AI 計算和數(shù)據(jù)基礎(chǔ)設(shè)施。”


PCIe 6.0改變了什么？

對于全新標準，首先從速度上看，和以往的標準一樣，PCIe 6.0同樣實現(xiàn)了翻倍提升——獲得了高達64GT/s的速率體驗。同時，新標準還克服了整個通道傳輸長度以及距離的限制，具備前向糾錯（FEC）以及固定大小數(shù)據(jù)包（Flit）等新特性。其中，在速度方面的提升，則主要是通過采用新的PAM4調(diào)制信號方式實現(xiàn)。

從Rambus 戰(zhàn)略營銷副總裁Matt Jones的介紹我們得知，在PCIe 6.0以前，PCIe一直采用的是NRZ調(diào)制信號方式，也就是“ Non-Return-to-Zero ”——不歸零編碼。在實際應(yīng)用中，這種編碼模式采用0或1兩個電壓等級，每一個時鐘周期只能傳輸1bit的信號。也就是說它只采用了高低兩種信號電平。因此，與采用四電平的PAM4相比，我們也將NRZ稱作PAM2 。

在以前的標準，這種編碼模式還是能夠?qū)崿F(xiàn)其規(guī)定的速度，但進入到PCIe 6.0，PAM 4的采用是刻不容緩了，這主要與奈奎斯特頻率有關(guān)。根據(jù)維基百科，奈奎斯特頻率（英語：Nyquist frequency）是離散信號系統(tǒng)采樣頻率的一半，因瑞典裔美國工程師哈里·奈奎斯特（Harry Nyquist）或奈奎斯特——香農(nóng)采樣定理得名。采樣定理指出，只要離散系統(tǒng)的奈奎斯特頻率高于被采樣信號的最高頻率或帶寬，就可以避免混疊現(xiàn)象。

回到PCIe標準上，據(jù)介紹，在進入PCIe 5.0時代后，數(shù)據(jù)速率的增加，也讓奈奎斯特頻率從8GHz加倍到16GHz，這就使得PCIe 5.0的頻率相關(guān)損耗比PCIe 4.0要嚴重得多。再加上電容耦合（噪聲和串擾）的增加，使得PCIe 5.0通道成為最難處理的NRZ通道。換而言之，如果PCIe 6.0仍然保留NRZ信號，則奈奎斯特頻率將增加到32GHz，通道損耗大于60dB，這對于實際系統(tǒng)而言太大了。這就是我們需要從NRZ更改為PAM-4的原因。這一變化意味著發(fā)射和接收的信號現(xiàn)在有四個不同的電壓電平，而不是兩個。

PAM4是PAM(Pulse Amplitude Modulation，脈沖幅度調(diào)制)調(diào)制技術(shù)的一種。作為NRZ(NonReturn-to-Zero)后的熱門信號傳輸技術(shù)，PAM4是多階調(diào)制技術(shù)的代表，當前也被廣泛應(yīng)用在高速信號互連領(lǐng)域。

Matt Jones也指出，通過PAM4，每個時鐘周期的數(shù)據(jù)傳輸可以達到2bit，而并不僅僅是單bit的數(shù)據(jù)傳輸。又因為PAM4采用四個不同的電平等級，因此能在每個時鐘周期表達2個數(shù)位，分別是00、01、10再到11。這就意味著在同樣的電壓波動范圍之內(nèi)和同樣的時鐘周期內(nèi)，由于PAM4的電壓等級比PAM2高了兩個，即眼圖中黑色的區(qū)域“眼睛“這個部分更多、更小了。

“這種變化帶來了另外兩個重要的影響，即更低的電壓裕度和更高的誤碼率，使得在設(shè)備中保證信號完整性成為了一個非常關(guān)鍵的難題。”Matt Jones強調(diào)。

至于前文談到的前向糾錯技術(shù)（FEC），按照Matt Jones所說，這是為了在保持數(shù)據(jù)傳輸速率的前提下解決PAM4本身的問題。而這種算法技術(shù)則恰好可以在數(shù)據(jù)傳輸鏈路中確保所有信號的完整性。

“同時，F(xiàn)EC技術(shù)的采納還改變了數(shù)據(jù)流控制單元的情況，要求我們也必須針對數(shù)據(jù)包本身的大小做出調(diào)整和改變。在PCIe 6.0之前的幾代規(guī)范采用的都是可變大小的數(shù)據(jù)包。但由于FEC技術(shù)的采納，PCIe 6.0必須采用固定大小數(shù)據(jù)包（FLIT），以更好地保證FEC技術(shù)的實現(xiàn)和操作。”Matt Jones接著說。

為了減少整體系統(tǒng)的能耗，PCIe 6.0還采用了顛覆式的L0p模式，其本質(zhì)是通過動態(tài)的信道分配，允許將每個通道進行封閉或者打開來實現(xiàn)系統(tǒng)性的節(jié)能。


PCIe 向前邁出了一大步？

PCIe 不僅僅是一個物理插槽標準。總線的主力是拓撲。PCIe 用于連接內(nèi)置外設(shè)、筆記本電腦和迷你 PC 的附加卡以及 SSD 存儲。Mini PCIe 使用相同的拓撲、編碼和規(guī)格，并且與常規(guī) PCIe 電氣兼容。現(xiàn)在常見的M.2 SSD接口也采用PCIe拓撲。

PCIe 的串行數(shù)據(jù)路徑使用單向差分對來提高信號完整性。雖然這些線對需要進行長度匹配才能消除偏斜，但每對的兩條跡線比 8、16 或 32 條跡線更容易處理。

高速并行總線也可能受到串擾的影響，串擾是一種從一條走線到另一條走線的信號泄漏。這會導(dǎo)致數(shù)據(jù)損壞并限制帶寬。差分配對信號可消除大部分串擾并提供更清晰的信。


PCIe 差分對的優(yōu)勢

PCIe的單向差分對由四根走線組成，作為每個方向的差分對。每組四個連接稱為一個通道，PCIe 插槽可支持 1 到 16 個通道。用于連接兩個 PCIe 設(shè)備的通道組稱為互連或鏈路。現(xiàn)代圖形加速器通常使用 16 通道插槽，有些需要兩個插槽和額外的電源連接。

差分對布置可加快傳輸速度并提高可靠性。在 PCIe 版本 1.0 和 2.0 中，數(shù)據(jù)以帶有兩個開銷位的 8 位字傳輸，稱為 8b/10b 編碼。這意味著 20% 的傳輸比特是開銷，而不是數(shù)據(jù)。PCI 3.0 將這一數(shù)字提升至 128b/130b 編碼，產(chǎn)生 98.5% 的數(shù)據(jù)率和 1.5% 的開銷。這種編碼從 PCIe 1.0 到 5.0 一直保留，表示具有不歸零(NRZ) 格式的二進制數(shù)據(jù)。


PCIe 1.0 至 7.0：傳輸速度加倍

PCIe 1.0 每通道傳輸速度高達 2.5 GB/s，16 通道互連時最高傳輸速度為 4 GB/s。隨著協(xié)議和芯片制造能力的改進，PCIe 2.0 使這一數(shù)字翻了一番。PCIe 3.0 從 8b/10b 提升到 128b/130b，速度幾乎翻倍至每通道 8 GB/s。此后的每個新版本的數(shù)據(jù)速率都增加了一倍。

2022 年推出的 PCIe 6.0 在編碼和協(xié)議方面帶來了重大變化，將速度提升至 64 GB/s。PCIe 6.0 從 NRZ 數(shù)據(jù)格式更改為脈沖幅度調(diào)制 4 級(PAM4) 信令。PAM 表示與 NRZ 中的一位相同單位間隔中的兩位，它給出四個值而不是兩個。這有效地用兩位值替換了二進制位。PAM4 的錯誤率要高得多，因此需要高級糾錯。截至撰寫本文時，使用此標準的卡尚未上市。

PCI-SIG 預(yù)計自 2022 年 6 月以來一直在開發(fā)的 PCIe 7.0 將在 2024 年得到鞏固。該標準承諾通過微調(diào)通道參數(shù)來提高功率效率并減少信號損失，從而將 PCIe 6.0 數(shù)據(jù)速率提高一倍。PCIe 7.0 硬件要到 2027 年才會出現(xiàn)在市場上。


企業(yè)加速布局

在數(shù)據(jù)中心，若想要發(fā)揮最新的 800Gbps 以太網(wǎng)的全部速度，就必須使用一個高速串行總線接口來匹配，為此不少 NIC/DPU和交換機廠商都在基于112G 以太網(wǎng)PHY IP開發(fā)支持 PAM-4 的 800Gbps 產(chǎn)品。諸如 Alphaware、新思、Cadence等廠商，都基于新的工藝節(jié)點推出了 112G 的IP。據(jù)統(tǒng)計，112G 以太網(wǎng)的部署將在 2025 年達到峰值，這是因為要想進一步控制功耗，此類 IP 也已經(jīng)過渡到 3nm 工藝，而 2025 年 3nm 也將成為主流節(jié)點之一。

此外，未來的 1.6Tbps 以太網(wǎng)也已經(jīng)在規(guī)劃中了，接口 IP 廠商們也迅速開啟了新一輪的布局和研發(fā)。以新思為例，在今年的TSMC Symposium上，新思成功展示了在背板通道上實現(xiàn) 224G 以太網(wǎng) PHY IP 的互操作，支持 PAM-4/6，可以與下一代可插拔近封裝光學(xué)（NPO）和共封裝光學(xué)（CPO）應(yīng)用完美匹配。

數(shù)據(jù)到達服務(wù)器上后，仍需要利用高速接口，為存儲和加速器提供高速連接的支持，比如 PCIe 和 CXL 等，這才是 PCIe 6.0早早就被下一代 AI 芯片設(shè)計納入考量的原因，不少大廠和初創(chuàng)公司的產(chǎn)品路線圖上，都能看到 PCIe 6.0 的身影。

新思也在今年開啟了 PCIe 6.0 IP 的進程，Intel Innovation 2023大會上，新思在英特爾的PCIe 6.0 測試芯片上，展示了其 PCIe 6.0 IP在 FPGA 實現(xiàn)與測試芯片的互操作。這也與英特爾開啟 IDM 2.0 路線后的 EDA/IP 合作緊密相關(guān)，今年 8 月，新思與英特爾宣布在英特爾未來的先進工藝節(jié)點上拓展合作關(guān)系，所以未來新思的一眾標準化高速接口 IP，也會對英特爾的Intel 3 和 Intel 18A 等節(jié)點提供支持。

當然，要說從商業(yè)角度來看，目前新思的高速接口 IP 還是在與臺積電的合作中取得了最大的成功。如果你對今年推出的各種高性能 AI 芯片有所關(guān)注的話，就會發(fā)現(xiàn)其中不少都用到了新思的DesignWare高速接口 IP。