隨著信息時代的到來,,世界發(fā)生了驚人的變化。最新的思科(Cisco)公司視覺網(wǎng)絡(luò)指數(shù)(VNI)顯示,,人們對多信息源(流媒體)的需求迅速增長,。思科估計,到2016年,,互聯(lián)網(wǎng)協(xié)議(IP)數(shù)據(jù)傳輸流量的復(fù)合年增長率為29%,。
所有這些需求都匯集到安放在大量低成本電源附近的服務(wù)器群。這種增長速度難倒了眾多的服務(wù)提供商(Google等信息提供商及將這些信息帶到電腦或手機的提供商)。人們需要更大的數(shù)據(jù)傳輸通道,,而要滿足這種需求,,卻面臨著眾多挑戰(zhàn)。
速度更快
自萬維網(wǎng)普及以來,,對于速度的需求就一直困擾著通信行業(yè),。在1983年左右,隨著10Mb(同軸半雙工CSMA/CD)以太網(wǎng)的出現(xiàn),,計算機開始相互連接到一起,。局域網(wǎng)(LAN)和廣域網(wǎng)(WAN)的節(jié)點數(shù)增加到一定程度以后,骨干網(wǎng)聚合便成了問題,。
光纖傳輸?shù)耐黄萍安ǚ謴?fù)用技術(shù)的實現(xiàn)大大提高了現(xiàn)代互聯(lián)網(wǎng)的傳輸速度,。但是,大多數(shù)家庭接入互聯(lián)網(wǎng)使用的傳統(tǒng)雙絞線很快便達到了其香農(nóng)極限,。撥號用調(diào)制解調(diào)器和DSL速度已達極限。盡管節(jié)點(用戶)數(shù)仍在持續(xù)穩(wěn)步增長,,但信息傳輸容量需求的增長卻受到了限制,。
當(dāng)人們開始應(yīng)用混合光纖/同軸系統(tǒng)以便通過數(shù)字機頂盒提供HDTV(高清電視)時,超大帶寬也達到了極限,。有線電纜數(shù)據(jù)服務(wù)接口規(guī)范(DOCSIS)電纜調(diào)制解調(diào)器的發(fā)展,,實現(xiàn)了每秒數(shù)兆位的傳輸速度,消費者紛紛開始要求使用這種技術(shù),。
DOCSIS調(diào)制解調(diào)器和光纖到戶(FTTH)成為推動互聯(lián)網(wǎng)不斷發(fā)展的催化劑,。智能手機和長期演進(LTE)無線網(wǎng)絡(luò)的出現(xiàn)再一次為消費者拓展了帶寬,使他們不再受線纜的束縛,。但是,,智能手機供應(yīng)商忽略了一些基本的東西:消費者將如何使用他們的上網(wǎng)手機。
供應(yīng)商簡單地認為,,人們偶爾會需要定位,,查看聯(lián)系人電話號碼,或者執(zhí)行其他一些要求互聯(lián)網(wǎng)提供服務(wù)的小任務(wù),。當(dāng)人們開始使用手機在網(wǎng)上“沖浪”時,,這些供應(yīng)商完全不知所措。他們的下行網(wǎng)絡(luò)完全超負荷運行,,因此,,他們開始提供一些“套餐”,旨在限制數(shù)據(jù)服務(wù)消費——至少現(xiàn)在是這樣一種情況,。
在源頭解決所有問題
連接的節(jié)點越多,,速度越快,需要的網(wǎng)絡(luò)容量和信息服務(wù)提供商運營能力也就越高。這不斷推動著對互聯(lián)速度需求的增長,。有意思的是,,大多數(shù)數(shù)據(jù)中心的IP數(shù)據(jù)傳輸(例如:亞馬遜和Google等)都在數(shù)據(jù)中心內(nèi)部的計算機之間完成,而并未通過網(wǎng)絡(luò)連接的客戶端之間,。
在網(wǎng)購時,,點擊“購買”按鈕之后,在兩臺服務(wù)器之間便開始進行大量的事務(wù)處理,,以驗證用戶身份和支付方式,,確認距離最近的發(fā)貨倉庫,記錄所有資金交易情況,,收集買家統(tǒng)計數(shù)據(jù),,以及執(zhí)行其他相關(guān)任務(wù)。完成所有這些事務(wù)所需的時間越長,,消費者等待訂單確認的時間也就越長,。
在線進行股票交易、游戲,、銀行轉(zhuǎn)賬和其他電子商務(wù)時原理相同,。這種“多事務(wù)”數(shù)據(jù)傳輸和大量交易請求推動局域網(wǎng)互聯(lián)速度從每通道10Gb/s提高至25Gb/s。
大多數(shù)現(xiàn)代數(shù)據(jù)中心都使用小型可插拔(SFP)或者四通道SFP(QSFP)連接來實現(xiàn)10Gb以太網(wǎng),。這些連接方法可以使用光纖或者特殊的高性能銅線,,具體取決于要求的傳輸距離。但是,,由于許多設(shè)備廠商為了增加相同空間的容量而不斷增加端口密度,,出現(xiàn)了許多問題。
一個問題是,,在設(shè)備冷卻系統(tǒng)的散熱口放置大量的光纖模塊,,并且相互靠近。單個光纖模塊的功耗一般為1W,。將這些模塊(例如一個48端口的10Gb/s交換機)相互靠近放置,,從設(shè)備排出的氣體溫度又很高,這會縮短光纖模塊的壽命并且存在安全隱患,。
數(shù)據(jù)中心管理員將注意力轉(zhuǎn)向了無源線纜,,這種線纜有望降低功耗和光纖模塊的成本。最近,,連接距離小于15米的情況,,開始使用集成了半導(dǎo)體線性均衡器和轉(zhuǎn)接驅(qū)動器的“有源”線纜,以調(diào)節(jié)信號和提高信號完整性,。有源線纜可以匹配較短的互聯(lián),,允許使用與光纖芯徑差不多大小的小規(guī)格標(biāo)準(zhǔn)線,,而且功耗和成本都更低。
另外,,這些管理員還可以使用具有多種功能的“智能線纜”,,這些功能包括時域反射計(TDR)和眼圖監(jiān)視器等,可以持續(xù)管理連接的完整性,。SFP和QSFP規(guī)范通過連接器上的一個兩引腳串聯(lián)管理端口實現(xiàn)這種通信,。這種設(shè)備可以識別線纜類型及其性能,從而讓系統(tǒng)設(shè)計人員能夠?qū)⑦@些功能集成到管理系統(tǒng)中,。
得更遠
有趣的是,,標(biāo)準(zhǔn)一旦被制定出來,就會存在相當(dāng)長的時間,。據(jù)傳,,現(xiàn)代英國鐵路軌距可能直接源自羅馬帝國二輪戰(zhàn)車的輪距。這個問題無需再深入討論,。影響數(shù)據(jù)中心的標(biāo)準(zhǔn)包括基礎(chǔ)設(shè)施內(nèi)的機架尺寸和間隔,。典型機架為19英寸寬,42英寸長,,7英尺高,。這一標(biāo)準(zhǔn)已沿用了許多年。在某些行業(yè),,機架寬23英寸,,目的是為了適用于電信交換機設(shè)備等應(yīng)用,。即使CMOS尺寸縮小帶來了更高密度的集成,,這些機架的體積也沒有相應(yīng)縮小。實際上,,由于功耗和布線要求更高,,它們的體積反而在不斷增加。最近,,開放運算項目針對一種被稱為“開放式機架”(21英寸寬)的新標(biāo)準(zhǔn)制定了一些計劃,。不僅寬度增加,機架也變得更高,。一些機架的高度甚至要達到9英尺,,以最大化服務(wù)器密度。
隨著機架尺寸的增加,,與設(shè)備內(nèi)部電子器件相關(guān)的連接器布局也要調(diào)整,。同時,CMOS密度的增加,,讓硅制造廠商可以將原來安裝在外部的物理層(PHY)器件集成到內(nèi)核交換ASIC并靠近連接器,。這種情況會產(chǎn)生兩個結(jié)果:外部連接器和電子器件之間的距離增加,;連接數(shù)據(jù)速率提高。這將對設(shè)計的信號完整性產(chǎn)生極大的影響,。在許多情況下,,它要求增加有源器件,對數(shù)據(jù)進行恢復(fù)和重新計時,,以達到連接器的規(guī)范(圖1)?,F(xiàn)在,10Gbps傳輸線路受到高抖動問題的困擾,,同時面臨最初四通道(x4)2.5Gbps版信號的衰減問題,。
圖1:高速互連的發(fā)展。
對10Gbps以太網(wǎng)以及存儲和計算來說,,這就成了問題,。第3版PCI Express(PCIe)等標(biāo)準(zhǔn)將通道帶寬從500Mbps增加至1Gbps。通過更加高效的編碼,,并將傳輸速率從5Gbps增加至8Gbps,,便可以達到這個目標(biāo)。更高的傳輸速率會帶來相同傳輸距離連接器規(guī)范不達標(biāo)的問題,,而在這一距離,,使用FR4無源傳輸線時,PCIe 2.0卻可以工作得很好,。在許多情況下,,面臨的問題是使用更獨特的PCB材料,還是有源平衡器/轉(zhuǎn)接驅(qū)動器,,以電學(xué)方式縮短傳輸線路,。這可沒有它看起來那么簡單,因為PCIe標(biāo)準(zhǔn)使用帶外(OOB)信號傳輸,,在根組件和PCIe節(jié)點之間建立起一個有效鏈路,。半導(dǎo)體廠商一般會提供允許這種標(biāo)準(zhǔn)在更長距離工作的硅組件。PCIe 4.0規(guī)范使用16Gbps通道,。在機架式服務(wù)器和設(shè)備尺寸不斷增大的情況下,要想達到這種標(biāo)準(zhǔn)實現(xiàn)通用性將變得越來越困難,。
存儲接口標(biāo)準(zhǔn)也做了同樣的修訂,。在企業(yè)存儲世界,標(biāo)準(zhǔn)是串行連接SCSI(SAS),,它是小型計算機系統(tǒng)接口(SCSI)的串行版本,。SAS-2.0規(guī)范使用6Gbps通道,,利用精密細致的FR4 PCB布局方法和高性能連接器可以讓它再次發(fā)揮作用。SAS-3.0使用12Gbps通道,,并面臨與其它高速標(biāo)準(zhǔn)相同的信號完整性問題?,F(xiàn)在,使用連接器和線纜將某個驅(qū)動器連接至系統(tǒng)使得這個問題變得錯綜復(fù)雜,。線纜廠商現(xiàn)在正推出一種新的高性能連接器(小型SAS HD)和介電材料,,以應(yīng)對信號完整性降低問題。但是,,要解決這個問題卻并不容易,,因為系統(tǒng)中驅(qū)動器可能會移動到更遠的地方,,這就要求使用更長的連接器,。
功耗原則
正如前文所述,,功耗是運營商和設(shè)備廠商共同關(guān)心的主要問題。即使用于設(shè)計高性能通信設(shè)備的大多數(shù)ASIC都是CMOS,,但相比一些老型號產(chǎn)品,,更新(更快)的設(shè)備實際功耗也更高,。另外,,有意思的是,,盡管晶體管幾何尺寸不斷縮小并且越來越高效,但是電路設(shè)計人員卻利用這種小體積優(yōu)勢將更多的晶體管封裝到這些器件中,。CMOS電路的功耗與時鐘頻率比例關(guān)系,,因此,,盡管每個晶體管的功效越來越高,但是它們的時鐘頻率卻比早期產(chǎn)品快了數(shù)倍,。
這種發(fā)展趨勢仍將持續(xù),,并在一定程度上推動機架空間變得越來越大,,從而實現(xiàn)更好的空氣流動和更優(yōu)的線纜管理,。電線管理的改進可讓設(shè)備的連接器具有更好的空間間隔,,從而使其本身的互連不妨礙設(shè)備風(fēng)扇排出的氣流,。但是,,連接器密度遲早會擴展到填滿所有有效空間的程度,。
超越10Gb/s
在一些現(xiàn)代的數(shù)據(jù)中心,,大多數(shù)互連均為銅纜或者光纖的10Gbps以太網(wǎng),。這些通道均為單(SFP+)通道或者分組四通道(QSFP)。不管是哪種情況,,這些線纜都為全雙工。今天的一些標(biāo)準(zhǔn)傳輸速度都超過了10Gbps以太網(wǎng),。一種是光纖通道,現(xiàn)在的速度已經(jīng)達到16Gbps(另外還有20Gbps標(biāo)準(zhǔn)),?;ヂ?lián)網(wǎng)協(xié)議(IP)等協(xié)議標(biāo)準(zhǔn)都可以映射FC數(shù)據(jù)包,,并允許使用光纖和銅纜實現(xiàn)更高速的互連。
就以太網(wǎng)而言,,使用多條10Gbps通道進行數(shù)據(jù)傳輸可以實現(xiàn)更高的總帶寬,但要達到100Gbps,,需要使用10條通道。100Gbps以太網(wǎng)光纖模塊利用一個超高速的10:4/4:10串行器/解串器(SerDes)將10通道的10Gbps數(shù)據(jù)轉(zhuǎn)換為4個25Gbps流,。這4個數(shù)據(jù)流饋送給使用波分復(fù)用(WDM)方案配置的4條不同顏色的激光,。SerDes較為昂貴并且功耗很高,,而10條通道又會占用連接器空間,。下一代產(chǎn)品將使用25Gbps,,直接向光纖模塊傳送數(shù)據(jù),。這種方法無需使用SerDes,并且連接器占用空間非常小,。
數(shù)據(jù)傳輸能耗指標(biāo)
過去,,我們可以說某個系統(tǒng)以“X”bps的速度將一些比特從“A”點移至“B”點。但在服務(wù)器群有10,000臺服務(wù)器和千兆存儲以后,,我們就不能這么說了,。今天,設(shè)備按照其傳輸信息時的無誤差(BER>10-12)和高效程度來分級。因此引起了一場有關(guān)信息傳輸效率的競賽——誰的功耗最低,,誰就是獲勝者,。企業(yè)運營商關(guān)心的是服務(wù)器性能和數(shù)據(jù)傳輸速度以及系統(tǒng)的能耗。設(shè)備運行所需的所有能量以廢熱的形式存在,,因此需要將這種廢熱排出去,,而這個過程又會消耗更多的能量。
這種方式來看數(shù)據(jù)傳輸可能過于簡單,,但是,,不管是用于驅(qū)動某條數(shù)據(jù)通道的集成電路,還是一個每秒數(shù)Gb的高性能交換機,,任何解決方案的性能計算都應(yīng)包括功耗。這種衡量指標(biāo)很像以“納公頃/兩周”為單位表示的硅生產(chǎn)率,。從大的方面看,,它是對目標(biāo)本質(zhì)的簡化和概括。在系統(tǒng)周圍,,使用最少的能源,,以最快的速度,,實現(xiàn)數(shù)據(jù)傳輸。
以下方程式表示了效率分類指標(biāo)
其中,,P為功率(瓦特),,REF為無誤差通道速率(比特/秒),,D為距離(米)。它可以簡化為焦耳每比特米(J/b?m),,也就是1秒無誤差時將1比特數(shù)據(jù)傳輸1米所需要的功耗,,或者無誤差條件下,,1比特數(shù)據(jù)移動1米所消耗的能量,。它對各種媒介和編碼進行了標(biāo)準(zhǔn)化,,并允許使用并排比較技術(shù),。
100+ Gbps挑戰(zhàn)
由于我們已經(jīng)介紹過一種比較各種通信技術(shù)的方法,,我們將直接討論數(shù)據(jù)速率超過100Gbps以后的相關(guān)問題,。100Gbps數(shù)據(jù)傳輸媒介有兩種可供選擇:光纖和銅線,。后一種受限于集膚效應(yīng)和介電損耗,,近遠端串?dāng)_以及許多其他影響比特誤碼率的現(xiàn)象。光纖傳輸過于復(fù)雜,,并且要求大量功耗,用于將數(shù)條電信號轉(zhuǎn)換為通過光纖傳輸?shù)囊粋€或者多個經(jīng)過調(diào)制的激光束,,然后再由激光束轉(zhuǎn)換回電信號(圖2),。
圖2:100Gbps CFP光纖模塊與QSFP有源線纜對比。
半導(dǎo)體行業(yè)的主要進展是硅工藝,,此外構(gòu)架方面也獲得了一定程度的改進,。一些供應(yīng)商(例如TI)開始使用新的超高性能硅鍺工藝實現(xiàn)超低功耗和高成本效益。使用SiGe時,,相比CMOS實現(xiàn)方法,,驅(qū)動器中的發(fā)射振幅更高,,因而擁有更高的信號完整性,。這些工藝結(jié)合了新的時鐘恢復(fù)和前饋均衡技術(shù),,可以輕松達到每通道25+ Gbps。下一代設(shè)備有望擁有這一數(shù)據(jù)速率,,并計劃于2013底上市銷售,。
對比現(xiàn)有100Gbps通道的傳輸效率,,驅(qū)動遠距離傳輸時光纖模塊擁有明顯優(yōu)勢。但是,,當(dāng)涉及企業(yè)內(nèi)部10米以下的數(shù)據(jù)傳輸時,,現(xiàn)在所使用的銅纜再次閃耀出它的光芒。1米標(biāo)準(zhǔn)時,,光纖無誤差傳輸1比特的能耗大概為80微微焦耳(使用100Gbps CFP,,每端的功耗為4W),,而銅纜傳輸1比特的能耗僅為20微微焦耳(使用100 Gbps QSFP,線纜每端的功耗為600mW),。以25Gbps運行的4條原生通道,,使用設(shè)備對設(shè)備(box-to-box)配置時,能耗更低,。令人吃驚的是,,企業(yè)環(huán)境的大多數(shù)互連距離都小于1米。
超越100Gb/s
通過基板和線纜傳輸串行化比特的傳統(tǒng)方法大多包含非歸零(NRZ)二進制編碼和誤差編碼(例如8b/10b),。但是,,使用可變長度CAT5/6 UTP線纜的以太網(wǎng)標(biāo)準(zhǔn)(例如1Gbase-T)除外。這種標(biāo)準(zhǔn)的復(fù)雜度要求極高,,原因是所用導(dǎo)線的帶寬有限(<350MHz),,并且通道損耗存在不確定性。為了彌補這些不足,,標(biāo)準(zhǔn)采用了多層符號編碼,、位交錯、前向糾錯,、回波消除和大量的其他技術(shù),,并與動態(tài)鏈路訓(xùn)練結(jié)合,以建立最快的無誤差連接,。所有這些導(dǎo)致其功耗高于NRZ版本,,但在這些情況下,也很難找出一種更好的替代方法,。
如果行業(yè)把銅線的數(shù)據(jù)連接速度推高至25Gbps以上,,那么問題是,雙層(二進制)NRZ編碼還會存在嗎,?即使現(xiàn)在,,還有人會說應(yīng)該放開對25Gbps數(shù)據(jù)速率的限制。Intel公司建議在企業(yè)內(nèi)部和基層之間也都使用多層編碼,。由于符號編碼比特密度更高,,這樣可以實現(xiàn)高數(shù)據(jù)速率,但是能耗也肯定會增高,。在今天的市場上,,Broadcom和其他公司提供的10Gbase-T解決方案復(fù)雜程度也有不斷增加的趨勢。正如其以前的一些產(chǎn)品,,這些器件利用多層信號傳輸,,通過符號編碼增加比特密度。利用多條通道(一條CAT7線纜4對),,該標(biāo)準(zhǔn)可支持約500MHz有限通道帶寬的情況下10Gbps數(shù)據(jù)傳輸速率,。那么,,隨著這個行業(yè)向40Gbps通道發(fā)展,多層方案會代替二進制編碼嗎,?可能會,,但是二進制NRZ成熟易懂。市場上有大量的NRZ誤碼率測試儀及完善的基礎(chǔ)設(shè)施,。另外,,還有發(fā)射器和接收器復(fù)雜性問題。即使CMOS幾何尺寸減小至40nm標(biāo)準(zhǔn)以下,,功耗和成本都是需要解決的問題,。
本文小結(jié)
考慮到未來4年市場所需要的器件絕對數(shù)量,思科VNI的預(yù)測數(shù)據(jù)相當(dāng)令人激動,。同時,,它也為有線和無線基礎(chǔ)設(shè)施供應(yīng)商以及提供媒體和信息的數(shù)據(jù)服務(wù)器帶來了一些問題。所有這些共同推動了企業(yè)和基礎(chǔ)設(shè)施使用更高的互連速度,。25Gbps可能會馬上到來,,然后迅速向40Gbps進發(fā),,并會使用先進的NRZ或者多層技術(shù),,確保實現(xiàn)無誤差數(shù)據(jù)通信。但是,,當(dāng)行業(yè)把連接速度從100Gbps再次推高至250Gbps甚至更高時,,又會出現(xiàn)哪些標(biāo)準(zhǔn),并在激烈的市場競爭中勝出呢,?