低延遲高密度光互連 (HDI/O) 提供商 Nubis Communications, Inc. 和全球技術基礎設施的高速連接和計算芯片領域的公司Alphawave Semi 宣布，即將展示 PCI Express 6.0 技術，該技術通過光鏈路以每通道 64GT/s 的速度驅動。

數據中心提供商正在探索使用 PCIe over Optics 來極大地擴展內存、CPU、GPU 和定制硅加速器互連的范圍和靈活性，從而為人工智能和機器學習 (ML/人工智能）架構。

Nubis Communications 和 Alphawave Semi 將在 DesignCon（先進芯片、電路板和系統設計技術的領先會議）的泰克展位上進行現場演示。具有 PiCORE 控制器 IP 和 PipeCORE PHY 的 Alphawave Semi PCIe 子系統將通過 Nubis XT1600 線性光學引擎直接驅動和接收 PCIe 6.0 流量，以每根光纖 64GT/s 的速度演示 PCIe 6.0 光學鏈路，并在泰克采樣上測量光學輸出波形帶有高速光學探頭的示波器。

與銅纜相比，可以利用光傳輸技術在相同帶寬下大大延長鏈路距離，支持更大的集群規模，以支持分布在多個節點上的更大的 AI/ML 服務器，并實現新的分解網絡架構的創新。Nubis XT1600 光學引擎支持多達 16 通道高密度 PCIe Gen 6.0 或 100 Gbps/通道以太網光學連接，無需合并重定時器。

“我們在單個低功耗、低延遲光學引擎中實現了 16 通道全雙工的高水平集成，非常適合用于下一代計算和存儲部署的 PCIe x16 的最大帶寬，”副總裁 Scott Schube 說道Nubis Communications 營銷學博士。“我們對 Nubis XT1600 線性光學引擎和 Alphawave Semi 的 PCIe 6.0 控制器和 PHY IP 的演示展示了 PCIe? 6.0 x8 光纖鏈路以 64 GT/s 的可行性。”

“人工智能應用程序正在重塑數據中心網絡，超大規模企業部署了越來越大的分布在更遠距離的分散服務器集群。這一轉變引起了我們的一些客戶對 PCIe over Optics 的濃厚興趣。”Alphawave Semi 首席技術官 Tony Chan Carusone 說道。“通過與 Nubis 的合作，我們很高興展示我們如何利用 Alphawave Semi 在連接 IP 和芯片方面的領先地位來實現 PCIe 光學連接解決方案，從而加速高性能 AI 計算和數據基礎設施。”


PCIe 6.0改變了什么？

對于全新標準，首先從速度上看，和以往的標準一樣，PCIe 6.0同樣實現了翻倍提升——獲得了高達64GT/s的速率體驗。同時，新標準還克服了整個通道傳輸長度以及距離的限制，具備前向糾錯（FEC）以及固定大小數據包（Flit）等新特性。其中，在速度方面的提升，則主要是通過采用新的PAM4調制信號方式實現。

從Rambus 戰略營銷副總裁Matt Jones的介紹我們得知，在PCIe 6.0以前，PCIe一直采用的是NRZ調制信號方式，也就是“ Non-Return-to-Zero ”——不歸零編碼。在實際應用中，這種編碼模式采用0或1兩個電壓等級，每一個時鐘周期只能傳輸1bit的信號。也就是說它只采用了高低兩種信號電平。因此，與采用四電平的PAM4相比，我們也將NRZ稱作PAM2 。

在以前的標準，這種編碼模式還是能夠實現其規定的速度，但進入到PCIe 6.0，PAM 4的采用是刻不容緩了，這主要與奈奎斯特頻率有關。根據維基百科，奈奎斯特頻率（英語：Nyquist frequency）是離散信號系統采樣頻率的一半，因瑞典裔美國工程師哈里·奈奎斯特（Harry Nyquist）或奈奎斯特——香農采樣定理得名。采樣定理指出，只要離散系統的奈奎斯特頻率高于被采樣信號的最高頻率或帶寬，就可以避免混疊現象。

回到PCIe標準上，據介紹，在進入PCIe 5.0時代后，數據速率的增加，也讓奈奎斯特頻率從8GHz加倍到16GHz，這就使得PCIe 5.0的頻率相關損耗比PCIe 4.0要嚴重得多。再加上電容耦合（噪聲和串擾）的增加，使得PCIe 5.0通道成為最難處理的NRZ通道。換而言之，如果PCIe 6.0仍然保留NRZ信號，則奈奎斯特頻率將增加到32GHz，通道損耗大于60dB，這對于實際系統而言太大了。這就是我們需要從NRZ更改為PAM-4的原因。這一變化意味著發射和接收的信號現在有四個不同的電壓電平，而不是兩個。

PAM4是PAM(Pulse Amplitude Modulation，脈沖幅度調制)調制技術的一種。作為NRZ(NonReturn-to-Zero)后的熱門信號傳輸技術，PAM4是多階調制技術的代表，當前也被廣泛應用在高速信號互連領域。

Matt Jones也指出，通過PAM4，每個時鐘周期的數據傳輸可以達到2bit，而并不僅僅是單bit的數據傳輸。又因為PAM4采用四個不同的電平等級，因此能在每個時鐘周期表達2個數位，分別是00、01、10再到11。這就意味著在同樣的電壓波動范圍之內和同樣的時鐘周期內，由于PAM4的電壓等級比PAM2高了兩個，即眼圖中黑色的區域“眼睛“這個部分更多、更小了。

“這種變化帶來了另外兩個重要的影響，即更低的電壓裕度和更高的誤碼率，使得在設備中保證信號完整性成為了一個非常關鍵的難題。”Matt Jones強調。

至于前文談到的前向糾錯技術（FEC），按照Matt Jones所說，這是為了在保持數據傳輸速率的前提下解決PAM4本身的問題。而這種算法技術則恰好可以在數據傳輸鏈路中確保所有信號的完整性。

“同時，FEC技術的采納還改變了數據流控制單元的情況，要求我們也必須針對數據包本身的大小做出調整和改變。在PCIe 6.0之前的幾代規范采用的都是可變大小的數據包。但由于FEC技術的采納，PCIe 6.0必須采用固定大小數據包（FLIT），以更好地保證FEC技術的實現和操作。”Matt Jones接著說。

為了減少整體系統的能耗，PCIe 6.0還采用了顛覆式的L0p模式，其本質是通過動態的信道分配，允許將每個通道進行封閉或者打開來實現系統性的節能。


PCIe 向前邁出了一大步？

PCIe 不僅僅是一個物理插槽標準。總線的主力是拓撲。PCIe 用于連接內置外設、筆記本電腦和迷你 PC 的附加卡以及 SSD 存儲。Mini PCIe 使用相同的拓撲、編碼和規格，并且與常規 PCIe 電氣兼容。現在常見的M.2 SSD接口也采用PCIe拓撲。

PCIe 的串行數據路徑使用單向差分對來提高信號完整性。雖然這些線對需要進行長度匹配才能消除偏斜，但每對的兩條跡線比 8、16 或 32 條跡線更容易處理。

高速并行總線也可能受到串擾的影響，串擾是一種從一條走線到另一條走線的信號泄漏。這會導致數據損壞并限制帶寬。差分配對信號可消除大部分串擾并提供更清晰的信。


PCIe 差分對的優勢

PCIe的單向差分對由四根走線組成，作為每個方向的差分對。每組四個連接稱為一個通道，PCIe 插槽可支持 1 到 16 個通道。用于連接兩個 PCIe 設備的通道組稱為互連或鏈路。現代圖形加速器通常使用 16 通道插槽，有些需要兩個插槽和額外的電源連接。

差分對布置可加快傳輸速度并提高可靠性。在 PCIe 版本 1.0 和 2.0 中，數據以帶有兩個開銷位的 8 位字傳輸，稱為 8b/10b 編碼。這意味著 20% 的傳輸比特是開銷，而不是數據。PCI 3.0 將這一數字提升至 128b/130b 編碼，產生 98.5% 的數據率和 1.5% 的開銷。這種編碼從 PCIe 1.0 到 5.0 一直保留，表示具有不歸零(NRZ) 格式的二進制數據。


PCIe 1.0 至 7.0：傳輸速度加倍

PCIe 1.0 每通道傳輸速度高達 2.5 GB/s，16 通道互連時最高傳輸速度為 4 GB/s。隨著協議和芯片制造能力的改進，PCIe 2.0 使這一數字翻了一番。PCIe 3.0 從 8b/10b 提升到 128b/130b，速度幾乎翻倍至每通道 8 GB/s。此后的每個新版本的數據速率都增加了一倍。

2022 年推出的 PCIe 6.0 在編碼和協議方面帶來了重大變化，將速度提升至 64 GB/s。PCIe 6.0 從 NRZ 數據格式更改為脈沖幅度調制 4 級(PAM4) 信令。PAM 表示與 NRZ 中的一位相同單位間隔中的兩位，它給出四個值而不是兩個。這有效地用兩位值替換了二進制位。PAM4 的錯誤率要高得多，因此需要高級糾錯。截至撰寫本文時，使用此標準的卡尚未上市。

PCI-SIG 預計自 2022 年 6 月以來一直在開發的 PCIe 7.0 將在 2024 年得到鞏固。該標準承諾通過微調通道參數來提高功率效率并減少信號損失，從而將 PCIe 6.0 數據速率提高一倍。PCIe 7.0 硬件要到 2027 年才會出現在市場上。


企業加速布局

在數據中心，若想要發揮最新的 800Gbps 以太網的全部速度，就必須使用一個高速串行總線接口來匹配，為此不少 NIC/DPU和交換機廠商都在基于112G 以太網PHY IP開發支持 PAM-4 的 800Gbps 產品。諸如 Alphaware、新思、Cadence等廠商，都基于新的工藝節點推出了 112G 的IP。據統計，112G 以太網的部署將在 2025 年達到峰值，這是因為要想進一步控制功耗，此類 IP 也已經過渡到 3nm 工藝，而 2025 年 3nm 也將成為主流節點之一。

此外，未來的 1.6Tbps 以太網也已經在規劃中了，接口 IP 廠商們也迅速開啟了新一輪的布局和研發。以新思為例，在今年的TSMC Symposium上，新思成功展示了在背板通道上實現 224G 以太網 PHY IP 的互操作，支持 PAM-4/6，可以與下一代可插拔近封裝光學（NPO）和共封裝光學（CPO）應用完美匹配。

數據到達服務器上后，仍需要利用高速接口，為存儲和加速器提供高速連接的支持，比如 PCIe 和 CXL 等，這才是 PCIe 6.0早早就被下一代 AI 芯片設計納入考量的原因，不少大廠和初創公司的產品路線圖上，都能看到 PCIe 6.0 的身影。

新思也在今年開啟了 PCIe 6.0 IP 的進程，Intel Innovation 2023大會上，新思在英特爾的PCIe 6.0 測試芯片上，展示了其 PCIe 6.0 IP在 FPGA 實現與測試芯片的互操作。這也與英特爾開啟 IDM 2.0 路線后的 EDA/IP 合作緊密相關，今年 8 月，新思與英特爾宣布在英特爾未來的先進工藝節點上拓展合作關系，所以未來新思的一眾標準化高速接口 IP，也會對英特爾的Intel 3 和 Intel 18A 等節點提供支持。

當然，要說從商業角度來看，目前新思的高速接口 IP 還是在與臺積電的合作中取得了最大的成功。如果你對今年推出的各種高性能 AI 芯片有所關注的話，就會發現其中不少都用到了新思的DesignWare高速接口 IP。