[導讀]摘要：“城市能源互聯(lián)網(wǎng)”這個概念在提出后得到了廣泛的重視并且發(fā)展迅速,，國內陸續(xù)有幾個城市已經(jīng)進行了實踐,。但目前城市能源互聯(lián)網(wǎng)仍然存留一些難以解決的問題，如復雜不確定性因素建模問題,、考慮多時間尺度特性的建模問題以及信息物理耦合交互影響,。在城市能源互聯(lián)網(wǎng)的信息處理中,，大數(shù)據(jù)技術起到了至關重要的作用，整個系統(tǒng)隨時產(chǎn)生的海量數(shù)據(jù)都要由大數(shù)據(jù)處理框架如storm,、sparkstreaming,、samza實現(xiàn)流計算,，最終完成任務分配以及各個子系統(tǒng)信息共享。鑒于此,，分析了各種大數(shù)據(jù)處理框架的特點,，以期找到最適合城市能源互聯(lián)網(wǎng)的框架。
引言
近年來,，人們越來越重視環(huán)境保護以及能源的合理利用問題,。在城市中，電,、氣,、熱等能源都擁有各自的運營系統(tǒng)，這些系統(tǒng)相互獨立,，如此的能源使用方式非常不利于城市能源系統(tǒng)的發(fā)展,，其面臨著能源供應結構不合理、能源綜合利用效率低,、可再生能源消納能力不足等問題,。由此看來，一次能源改革勢在必行,。
“能源互聯(lián)網(wǎng)”（EnergyInternet,簡稱E-Internet）的概念于2011年由美國學者杰里米·里夫金在《第三次工業(yè)革命》一書中率先提出,。能源互聯(lián)網(wǎng)可理解為綜合運用先進的電力電子技術、信息技術和智能管理技術,，將大量由分布式能量采集裝置,、分布式能量儲存裝置和各種類型負載構成的新型電力網(wǎng)絡、石油網(wǎng)絡,、天然氣網(wǎng)絡等能源節(jié)點互聯(lián)起來,，以實現(xiàn)能量雙向流動的能量對等交換與共享網(wǎng)絡。能源互聯(lián)網(wǎng)的提出在很大程度上加速了電網(wǎng)對新型能源利用的步伐,，也是電網(wǎng)發(fā)展的一種延伸,，它的目標在于分布式能源的利用和發(fā)展。城市能源互聯(lián)網(wǎng),，顧名思義,，就是應用于城市的能源互聯(lián)網(wǎng)。
城市能源互聯(lián)網(wǎng)（UrbanEnergyInternet,簡稱UEI）具有多能互聯(lián),、廣泛應用互聯(lián)網(wǎng)技術和以電能為核心的特征,。城市地區(qū)作為區(qū)域的用能中心，在城市地區(qū)構建城市能源互聯(lián)網(wǎng)對于推動城市,、國家乃至整個社會的能源發(fā)展都具有積極的意義,。
大數(shù)據(jù)處理技術是城市能源互聯(lián)網(wǎng)的關鍵之一。在可再生能源預測、儲能系統(tǒng)的智能控制,、自然災害的區(qū)域預警,、狀態(tài)檢修管理中，大數(shù)據(jù)技術起到了關鍵性作用,。面對城市能源互聯(lián)網(wǎng)隨時產(chǎn)生的海量數(shù)據(jù),，一個實用的大數(shù)據(jù)處理框架至關重要。文獻分析了幾種大數(shù)據(jù)處理框架的特點,，為探究何種大數(shù)據(jù)處理框架最適合城市能源互聯(lián)網(wǎng)提供了參考,。文獻介紹了改進自適應遺傳算法在能源預測方面的應用。
在國家政策的大力支持下,，UEI的發(fā)展前景非常良好,。目前，國網(wǎng)廈門供電公司在廈門市能源網(wǎng)絡上已經(jīng)完成技術實踐,，北京延慶能源互聯(lián)網(wǎng)示范也已經(jīng)建成,，銀川供電公司也正積極推進城市能源互聯(lián)網(wǎng)綜合示范工程建設，為國家電網(wǎng)公司能源互聯(lián)網(wǎng)戰(zhàn)略目標在城市的落地實踐提供了典型范例,。新型城市能源互聯(lián)網(wǎng)示范工程結構設計如圖1所示,。
本文寫作的目的在于，分析城市能源互聯(lián)網(wǎng)的發(fā)展現(xiàn)況,，了解城市能源互聯(lián)網(wǎng)的框架與技術難點,，選擇適合城市能源互聯(lián)網(wǎng)的大數(shù)據(jù)處理框架,，為將來城市能源互聯(lián)網(wǎng)的發(fā)展提供一個參考。
1UE1的特點與難點
城市能源互聯(lián)網(wǎng)是未來滿足城市各類能源使用需求的能源系統(tǒng),，是全球能源互聯(lián)網(wǎng)、中國能源互聯(lián)網(wǎng)在城市地區(qū)的承接節(jié)點和重要支撐,，是城市各類能源互聯(lián)互通,、綜合利用,、優(yōu)化共享的平臺，具有跨域平衡、低碳化的核心思想以及網(wǎng)絡化,、清潔化,、電氣化、智能化的特征,。其核心思想是以電為中心,，構建廣泛互聯(lián)、開放共享,、再電氣化,、低碳環(huán)保的城市綜合能源系統(tǒng)，其主要特征為網(wǎng)絡化,、清潔化、電氣化和智能化,。
在UEI的運行層面上,，主要難點為復雜不確定性因素建模、考慮多時間尺度特性的建模以及信息物理耦合交互影響,。
復雜不確定性因素建模的難點是在各種能源的生產(chǎn)、運輸,、轉化,、消費過程中存在許多不確定性因素，這些不確定性因素之間又有復雜的聯(lián)系,，所有這些誤差都會對建模造成極大的困難,。
考慮多時間尺度特性的建模的難點在于各種能源一電,、氣,、熱各自的系統(tǒng)的暫態(tài)過程持續(xù)時間不同，應利用氣,、熱能源的慣性與利于存儲的特點平衡其他可再生能源的波動性特點，具體的實施仍然是一項難題,。
信息物理耦合交互影響的難點在于能源互聯(lián)網(wǎng)中不同能源系統(tǒng)之間如何實現(xiàn)信息互聯(lián),、物理互聯(lián)以及信息物理交互影響。
2UE1的技術架構
能源傳輸按照決策,、調度和傳輸三個不同的邏輯層級,，分為價格層、信息層和傳輸層,。UEI的技術架構如圖2所示,。
價格層的本質是在開放競爭的市場環(huán)境下,，通過價格,、市場機制來實現(xiàn)資源的優(yōu)化配置與管理。
傳輸層是城市能源輸送的物理途徑,，對它的要求在于電網(wǎng)在電源側要實現(xiàn)對多種能源的開放接入,，在負荷側電網(wǎng)要滿足用戶的多種用能需求及其互補轉換。重點過程在能源的轉換：電轉氣可以采用電轉氣技術（電解水,、儲存氫氣）,，熱能與電能可以用熱電聯(lián)產(chǎn)機組生產(chǎn)（高溫高壓蒸汽用于帶動汽輪發(fā)電機組發(fā)電，做功后低品位汽輪機抽汽或背壓排汽用于供熱）,，電網(wǎng)和電氣化交通網(wǎng)通過充電樁連接,。
在傳輸層之上的信息層，相比于傳統(tǒng)的電網(wǎng)自動化,，需要更加實時快速的信息傳遞,、更加開放的通信協(xié)議、更加準確和智能的邏輯控制程序以及更加安全的信息防護系統(tǒng),。依靠城市互聯(lián)網(wǎng)內的采集和傳輸裝置,，采集基于同步時標，包括能量信息（電壓,、電流,、氣壓、溫度等）,、設備信息,、各能源主體信息（儲能、充電站,、分布式電源,、電網(wǎng)等）等在內的信息，具備全狀態(tài)觀測能源系統(tǒng)運行狀態(tài),、設備運行工況等的物理量信息,，最大程度上降低系統(tǒng)狀態(tài)和參數(shù)的不可觀性和隨機性，為能源控制系統(tǒng)內多能源協(xié)同控制,、智能車聯(lián)網(wǎng)和資源計劃等平臺提供決策支撐,，從而引導傳輸層的能量流動和價格層的資金流動，實現(xiàn)城市能源互聯(lián)網(wǎng)高效,、安全和經(jīng)濟的運行目標,。在信息層工作過程中，大數(shù)據(jù)技術起到了非常重要的作用,。
3大數(shù)據(jù)技術在城市能源互聯(lián)網(wǎng)中的應用
大數(shù)據(jù)在一定時間內無法用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內容進行提取,、管理和處理。從大數(shù)據(jù)的處理過程來看,，大數(shù)據(jù)關鍵技術包括大數(shù)據(jù)采集,、大數(shù)據(jù)預處理、大數(shù)據(jù)存儲及管理,、大數(shù)據(jù)分析,、大數(shù)據(jù)展現(xiàn)和應用（大數(shù)據(jù)檢索,、大數(shù)據(jù)可視化、大數(shù)據(jù)應用,、大數(shù)據(jù)安全等）,。
在城市能源互聯(lián)網(wǎng)中，包含有大量分布式電源,、微型網(wǎng),、儲能儲熱設備，利用大數(shù)據(jù)技術可以快速分析,、決策,，實現(xiàn)多種能源的智能生產(chǎn)，減少能源的過度開發(fā),，降低消耗,，提高負荷側與電源側的協(xié)同。
利用大數(shù)據(jù)的挖掘技術,，能夠找出能源的損耗環(huán)節(jié),，提高能源的利用效率，減少對環(huán)境的破壞,。能源的分布模式?jīng)Q定了能源互聯(lián)網(wǎng)數(shù)據(jù)是分散的,、碎片化的，極易造成數(shù)據(jù)的丟失和破壞,。通過大數(shù)據(jù)技術的集成管理可以有效減少數(shù)據(jù)的流失,，有助于保持數(shù)據(jù)的完整性?；诖髷?shù)據(jù)的分析,，可以從不同層面、不同因素,、不同角度分析上下游各環(huán)節(jié)的供給和需求情況,，形成合理的能源互聯(lián)網(wǎng)商業(yè)模式，引導各方參與其中,，形成能源互聯(lián)網(wǎng)的有效商業(yè)模式,。
在城市能源互聯(lián)網(wǎng)中，多種能源子系統(tǒng)需要信息的實時共享,，海量實時數(shù)據(jù)需要大數(shù)據(jù)技術實現(xiàn)處理,。可以說,，大數(shù)據(jù)技術支撐起了整個城市能源互聯(lián)網(wǎng)的動態(tài)運行。流計算技術可以應對城市能源互聯(lián)網(wǎng)隨時產(chǎn)生大量數(shù)據(jù)的特點,，快速進行數(shù)據(jù)處理,。
流計算處理的是流數(shù)據(jù)（Datastream）,，流數(shù)據(jù)是大量、快速,、持續(xù)到達的數(shù)據(jù)序列,。流數(shù)據(jù)的特點為不關注存儲，關注對它的處理,，一旦處理完成,，要么被丟棄要么被歸檔存儲：數(shù)據(jù)量非常大，而且常常沒有順序,，格式復雜,。因為在能源互聯(lián)網(wǎng)的信息層中往往并不擁有充裕時間處理批量數(shù)據(jù)，它所采集的數(shù)據(jù)往往是大量,、持續(xù)到達的,，且數(shù)據(jù)的價值隨時間的流逝而降低，因此不宜用適合批量計算的Hadoop,。
傳統(tǒng)的數(shù)據(jù)處理流程為用戶向數(shù)據(jù)管理系統(tǒng)查詢,，之后輸出查詢結果，這樣的流程只能處理提前存儲好的數(shù)據(jù),，并且需要用戶發(fā)出查詢才能獲得結果,。流計算的處理流程一般包含三個階段：數(shù)據(jù)實時采集、數(shù)據(jù)實時計算,、實時查詢服務,。一般來說，采集得到的數(shù)據(jù)不用存儲,，可以直接進行計算處理,。
3.1應用Storm進行流計算
storm是一個免費、開源的分布式實時計算系統(tǒng),，可以簡單,、高效、可靠地處理流數(shù)據(jù),，支持多種編程語言,。在storm之前，很少有關于流計算框架的研究,，可以說storm是流計算框架的鼻祖,。
storm編程靈活，可以用任何編程語言編寫拓撲結構,。storm還能實現(xiàn)毫秒級響應,，因此能夠應對快速產(chǎn)生的大量數(shù)據(jù)的處理。
3.2應用SparkStreaming進行流計算
sparkstreaming是構建在spark上的實時計算框架,，spark本身是進行批處理的框架,，sparkstreaming使它適用于流數(shù)據(jù)處理,。sparkstreaming結合了批處理和交互查詢，適合一些需要對歷史數(shù)據(jù)和實時數(shù)據(jù)進行結合分析的應用場景,。sparkstreaming支持Kafka,、Flume、HDFs,、TCPsocket的輸入數(shù)據(jù)源,，支持HDFs、Databases,、Dashboards的輸出數(shù)據(jù)源,。
sparkstreaming的基本原理是將實時數(shù)據(jù)以時間進行切片，一般為秒級,，然后spark引擎對這些時間片進行批處理,。本質上是用批處理框架進行流數(shù)據(jù)處理，因此sparkstreaming不能進行毫秒級的流計算,。但sparkstreaming的小批量處理使它可以同時兼容批量和實時數(shù)據(jù)處理的邏輯和算法,，因此方便了一些需要歷史數(shù)據(jù)和實時數(shù)據(jù)聯(lián)合分析的特定應用場合。另外,，spark可以統(tǒng)一部署sparksOL,、sparkstreaming、MLlib,、Graphx等組件,，可以將流計算、圖計算,、機器學習,、sOL查詢分析等相結合。
3.3應用Samza進行流計算
samza的流數(shù)據(jù)處理單位是一條條的消息,，這些消息被分割成若干個分區(qū),，對于流中的每一個分區(qū)而言，都是一個有序的消息序列,，后面的消息都會根據(jù)一定規(guī)則被追加到相關的某一個分區(qū)里,。一個任務負責處理作業(yè)中的一個分區(qū)，這些分區(qū)沒有順序的定義,，所以允許每一個任務獨立運行,。最終借助YARN調度器，可以將任務分發(fā)給各個機器,。它還是一個分布式處理框架,。一個數(shù)據(jù)流圖是由多個作業(yè)串聯(lián)起來的。
samza的系統(tǒng)架構包括流數(shù)據(jù)層（Kafka）、執(zhí)行層（YARN）,、處理層（samzaAPI）,。
當有大量的狀態(tài)需要處理時,，可以選用samza,。與storm相同，samza也可以進行毫秒級響應,。
3.4三種框架的特點對比分析
sparkstreaming處理的單位是Dstream,storm處理的單位是Tuple,samza處理的單位是一條條消息,，因此storm和samza都可以進行毫秒級響應，sparkstreaming只能進行秒級響應,。sparkstreaming的優(yōu)勢在于,，RDD的數(shù)據(jù)集更容易做高效的容錯處理，同時更方便實時數(shù)據(jù)與歷史數(shù)據(jù)結合分析,。samza的優(yōu)勢在于可以處理非常大量的狀態(tài),，比如每個分區(qū)有上億個元組，用samza處理會很方便,。
三種流計算框架的優(yōu)勢對比如表1所示,。
城市能源互聯(lián)網(wǎng)在運行中，每時每刻都會產(chǎn)生海量的數(shù)據(jù),，從能源生產(chǎn)到能源使用的每一個環(huán)節(jié)都有無數(shù)個數(shù)據(jù)源頭,。因此，城市能源互聯(lián)網(wǎng)需要的流計算框架應具備快速響應以及同時處理大量數(shù)據(jù)的能力,。由此看來,，samza優(yōu)勢更加明顯，更適合應用于城市能源互聯(lián)網(wǎng),。
4結語
城市互聯(lián)網(wǎng)是將電網(wǎng)與互聯(lián)網(wǎng)技術相結合,，其他能源子系統(tǒng)互補的一種完整的供能體系，它現(xiàn)在已經(jīng)發(fā)展得比較成熟,，我國北京,、廈門、天津已經(jīng)進行了初步嘗試,，并取得了不錯的成果,。在城市能源互聯(lián)網(wǎng)中最關鍵的技術之一就是大數(shù)據(jù)技術，在城市能源互聯(lián)網(wǎng)的信息層中大數(shù)據(jù)技術的合理應用決定著整個系統(tǒng)信息的實時性,、準確性,、高效性?？梢詰胹torm,、sparkstreaming、samza等框架進行流計算。針對城市能源互聯(lián)網(wǎng)隨時產(chǎn)生大量數(shù)據(jù)以及需要快速響應的特性,，選出samza是最適合的流計算框架,。但現(xiàn)階段城市能源互聯(lián)網(wǎng)仍然存在著一些難題，在運行層面上,，復雜不確定性因素建模,、考慮多時間尺度特性的建模、信息物理耦合交互影響仍然困擾著我們,，這些難題在不久的將來一定會被攻克,。
更多信息可以來這里獲取==>>電子技術應用-AET<<
