張金  南開大學網(wǎng)絡空間安全學院物聯(lián)網(wǎng)工程系副主任、副教授

　　在智能環(huán)境人工只能出現(xiàn)之后,，給工控按來會帶來哪些挑戰(zhàn),？可能是我們今天會后大家去思考的問題。

　　工控領域安全是網(wǎng)絡安全的延伸和發(fā)展,，這句話想說的是什么？我們對基本工控安全有一個基本的界定，學科歸屬產(chǎn)業(yè)歸屬要有一個界定,。第二它涵蓋了如此的行業(yè)單于國際民生我不說了，工控安全這兩點越來越重要,，無論是從國家整個產(chǎn)業(yè)運行還是追溯到社會學人類學整個組織上都發(fā)現(xiàn)工控產(chǎn)業(yè)特別重要,。我們這兩年接觸到最典型的數(shù)據(jù)是這樣的，一個中等規(guī)模城市斷電三天城市崩潰,，不是說這個城市如何它是崩潰掉了,，這是為什么我們這兩年對于整個能源行業(yè)都特別重視，實際上不只是這樣,，所有的交通運輸采礦冶煉生產(chǎn)制造都關系到這個問題,，這個是工控安全這幾年很重要的原因。

　　第三說我不是作用一個操作系統(tǒng)完全更服務于各個環(huán)節(jié),，這個我想說的是什么,？其實你回頭想，最早談工控安全談的是什么問題,？只是談設備,，過了幾年大家發(fā)現(xiàn)單設備在工控領域當中不只是單設備開始有一條線各個環(huán)節(jié)，它上升到一個產(chǎn)線的系統(tǒng),，又過了幾年發(fā)現(xiàn)我的整個工業(yè)控制系統(tǒng)或者在一個產(chǎn)線里面不只是有自己的問題,，我跟供應鏈甚至和CRM都要對接，于是我又上升了一次,，我工控安全應該包括整個系統(tǒng)再往后延伸到人工智能,，一會我們再來談。我們今天先下一個定義誰是公共安全問題只要它的后果能夠影響到我正常的作業(yè)不只是終端的作業(yè)還是造成偏差,，這些問題應該就屬于工控安全問題,，人工智能會不會影響到整個作業(yè)？人工智能在工控產(chǎn)業(yè)里面會有什么樣的情況,。我們不細說了很多的表,，大家知道這兩年人工智能大數(shù)據(jù)應用的非常多，人工智能會是第四次工業(yè)革命的最大推動力,，在這我只談一條人工智能新一代政府工作報告里面國務院發(fā)布了新一代人工智能發(fā)展規(guī)劃,，如果你真翻過那個東西仔細看看里面推出談到了人工智能在于基礎工業(yè)智能制造在實業(yè)上的落地,，這是國家最關心的。

　　這幾年看人工智能的發(fā)展非常的興旺,，我們看幾個例子人工智能到底怎么樣來服務,。這個是工業(yè)大數(shù)據(jù)，第一類是我見最多的產(chǎn)品故障診斷預測,，現(xiàn)在幾乎大一點的企業(yè)都在拿人工智能機器學習大數(shù)據(jù)在做這個而且效果非常好,，我們舉一個例子GE-insite它有一套維修體系，GE當年賣類似于CT或者超聲波機賣的挺多的,，但是這些大型設備其實在維護的過程當中經(jīng)常出問題,，我上學的時候就有人說你將來找工作最好找維護大型設備，為什么,？是因為小問題操作人員解決了,，大問題你解決不了，到你這只是打一個電話找人維修就OK了,，現(xiàn)在的數(shù)據(jù)基本上體現(xiàn)這樣及GE當時維修的時候,，平均維修時間是4個小時左右。而且工作量非常滿,，后來用了人工智能做了一套insite,，它其實是基于機器學習一套軟件數(shù)據(jù)診斷系統(tǒng)，改完了之后大概可以做到41%的故障遠程排除不用去了,，如果有大型設備的維修經(jīng)驗會看到大型設備的大量問題是什么,？不是核心的問題，有可能是哪的線松了或者是校準一次就可以運行,，它其實并不需要非常高的技術,，所以遠程基本上15分鐘內(nèi)就可以解決。

　　這樣我們發(fā)現(xiàn)數(shù)據(jù)整個的運行對于工控產(chǎn)能的提高很有幫助,，第二個生產(chǎn)線優(yōu)化,，生產(chǎn)線最怕的就是停機，這是一個全球500強他做了智能產(chǎn)線,，這個產(chǎn)線打出來那天開始就沒有24小時停機過,，因為當時在良品的控制上出問題了，它的產(chǎn)線跑起來經(jīng)常要停機,，因為跑著發(fā)現(xiàn)有一個殘次品停機,，所以做不到不停機，那有什么辦法,？我等下來之后裝箱再弄,？那也不行,。于是怎么辦,？他們也用機器學習的方式做了故障停頓,，它來預測不用再看產(chǎn)品是不是殘次品，每一個產(chǎn)品上有一個標號,，一個標號上對應一個概率,，低于百分之多少的概率我認為你就是殘次品，裝箱的時候自動踢出,，光這一項不停機一年直接的收益在5億美元左右,，我看到大數(shù)據(jù)的第二個好。

　　第三個供應鏈的優(yōu)化會促進采購倉儲這都是很常見的問題,，在這我只說跟安全有關的,，其實對于供應鏈整個的數(shù)據(jù)信息保護非常重要，我們國內(nèi)當初一個企業(yè)做橡膠制品,，它的產(chǎn)品質(zhì)量非常好,，外國企業(yè)非常好奇你的橡膠配比原料到底是怎么調(diào)的，其實你回頭坐這想,，真正有價值的商業(yè)秘密你是不會拿它做專利的,，一旦做了專利就意味著公開了，藏著外國企業(yè)包括國內(nèi)友商想了很多的包括,，就是不知道,。直到外國人想了一個新的方法，看看他的原料采購,，看他的供應鏈,，到底把它的配比算出來了。我們國內(nèi)還是造成了一定的損失,，但是這個問題可能不算是工控問題更是商業(yè)機密問題,，因為沒有造成了產(chǎn)線的終止和運行，最后一個生產(chǎn)排成也比較常見,。

　　這個是我從一個網(wǎng)站上截的圖,，應該是做工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)的，在這要講的是什么,？當工業(yè)互聯(lián)網(wǎng),、工業(yè)云、工業(yè)大數(shù)據(jù)出現(xiàn)之后,，越來越多的企業(yè)會把它的一些業(yè)務搬到云上去,，剛剛我們其他嘉賓也講過等保2.0新的東西都要考慮工業(yè)云，其實在我的眼中去看工業(yè)云的時候我最害怕的是一個什么問題,？當我們做了云,，云核心是集約化的工具，你們都用用完成本就下來了,，但是大家用的函數(shù)和代碼其實可能都是一段,，我們過去100個廠家做100套系統(tǒng),，可能系統(tǒng)實現(xiàn)的方式包括漏洞還是多種多樣的，一種病毒想通車其實蠻難的,，但是當你上了云,，當我們都大規(guī)模的采購了一家的產(chǎn)品你會發(fā)現(xiàn)，你們出現(xiàn)的風險就是一樣的,，云可能帶來的風險不是自己的風險,。

　　而是云對于各種數(shù)據(jù)各種服務進行輔用它帶來的東西，我們再從技術的角度看看人工智能這個角度真正鋪到工業(yè)領域有哪些技術,，第一種機器視覺,，就是用機器代替人眼來看就是小鏡頭。我們將目標轉(zhuǎn)成各種數(shù)字圖象信號,，運用模式識別數(shù)字圖形學各種方式,，根據(jù)象素的分布亮度抽出形態(tài)紋理特征，進而根據(jù)辨別的結(jié)果來控制現(xiàn)場的工作,，就是交互,。以它們基本上廣泛的應用在各種工業(yè)自動化處理問題上，因為人工智能就三個套路感知,、計算,、控制，就這三件事其中最有效的感知手段就是視覺,，無論是希望跟人眼一樣看一個形狀看一個動物,，看什么核心動是用的視覺方法，這個東西現(xiàn)在用的最多,。

　　第二個機器聽覺,，聽覺指什么？用機器代替人耳來做測量和判斷,，由于生理上本身是振動的也叫機器處理,，通過聽覺裝置，一般我們用麥克風陣列或者是定向的傳感器,，獲取聲音信號傳給專業(yè)的聽覺系統(tǒng)來處理,。聽覺現(xiàn)在來看主要用在兩到三個領域，第一個領域是什么,？故障排除,，其實當你有一臺機床，這個機床有一個機軸它長期運行磨損之后產(chǎn)生的噪音就會不一樣,，這個技術相對來講應該比較成熟,，過去不叫聽覺，現(xiàn)在越來越多的企業(yè)都喜歡用這種方式來進行故障的診斷,。第二類用在控制上,，比如說去年在上海幫一個廠子做了一個小方案,，它的核心就是在爐子里面燒玻璃的絕緣子，它不知道在哪,，于是我們放了一個自動傳感器來聽碎的一聲，基本上知道在哪雖來做檢測,。第三個做的人機交互,，我們很多的作業(yè)尤其在港口或者是在比較敏感的地方作業(yè)，因為你的雙手都占據(jù)了,，剩下的溝通下指令只能通過嘴,，經(jīng)常帶一個無線耳麥說，他們也是用的機器聽覺,。

　　第三種機器人開始動起來,，機器人跟過去想的不一樣，過去看到的工業(yè)機器人認為就是產(chǎn)線,，有人拿著錘子砸或者是拿一個小探針在那焊接不是,，現(xiàn)在的機器人完成了運動規(guī)劃自主定位一會我們看一眼。還有一個是這兩年新型的問題叫自主決策,，我們舉了一個案例它做了一套AI專門追蹤員工的工作效率,，你干過企業(yè)管理知道，最頭疼的一件事就是我這個員工到底是摸魚還是認真工作,，有很多的方式想辦法監(jiān)控,，但是這樣做效果都不好，他們做的還不錯,。做一套系統(tǒng)來監(jiān)控每一個員工的TOT,，自動生成解雇指令，一旦系統(tǒng)判斷你上班有60%的時間在工作,，直接一個電子合同出來你就走了,，它系統(tǒng)里承接的是后來自動去給下一個排隊庫里的人發(fā)邀請，讓你到我這來上班自己簽訂合同第二天來報到,，已經(jīng)做到這個水平了,。基本上決定用AI來決定是否去解雇一個員工,，據(jù)說跑一年之后大概近千名員工被辭掉,，這是一個物流輸送系統(tǒng)比例接近了10%。這個我要講的是什么,？

　　其實自主決策人工智能不僅僅在產(chǎn)線控制上,，它開始延伸到CM上去了，如果對這樣一個AI進行干擾把你倉庫的人都開掉是不是也干擾到你的作業(yè)運行,？也是,。下面找了兩個圖,，右邊是創(chuàng)意公司他做的設備專門用于監(jiān)控員工的工作，據(jù)統(tǒng)計大概有15%的企業(yè)都在默默的關注員工在干什么,，這些公司出了這些產(chǎn)品每天和工卡一樣往身上一戴,，所有的統(tǒng)計數(shù)據(jù)立刻上平臺，它就可以知道你到底是歇著還是在忙碌,。左下角這個圖是國內(nèi)一個環(huán)衛(wèi)工人,，當時管理部門給他們一人送了一個電子手環(huán)，說是可以報天氣,，告訴你一個氣溫還可以跟你溝通一下,，還有另外一個功能每當你在一個地方待了20分鐘之后就會提醒你一下，在后臺給你做一個違規(guī)的記錄,，因為環(huán)衛(wèi)工人掃地不可能在這個地方掃20分鐘的地,，后來被新聞報了之后有關部門又改了。但是我們會發(fā)現(xiàn)越來越多的人工智能的東西被我們放進來做決策來符合業(yè)務運行,，上面兩個圖是全球工業(yè)機器人的最高水平,，左上角的物流機器人已經(jīng)可以去抓箱子，這個箱子是100鎊,，一個機器人跑起來不難,，你讓它抓沉一點的東西也不難，但是抓一個沉的東西跑就很難,。右邊也是一個物流機器人,，你會發(fā)現(xiàn)它可以吸住紙箱子，這兩個機器人應該都是在今年年底面世,，所以你看這個機器人和在產(chǎn)線上固定區(qū)別很大,，未來的機器應該是這種模式。左下角做的也非常好,，你會發(fā)現(xiàn)它的機械手可以仿照人的手工作,，其實機械手抓東西是非常難的問題，不是在于動不動,，而在于到底抓的是紙杯還是礦泉水瓶應力不一樣,，右下角是另外一個機器人醫(yī)療機器人最高水平，它可以做遠程手術它在縫合一個葡萄,，你想醫(yī)療領域應用也是非常廣的,。

　　最后我找到柴院士的一段話，目前工業(yè)人工智能是兩者結(jié)合,，工業(yè)人工只能增強勞動力素質(zhì)提高效率服務客戶,，各個生產(chǎn)環(huán)節(jié)發(fā)生變革，為新的制造業(yè)提供了新的，后面還說了很多,，我不念了,。根據(jù)我個人的經(jīng)驗，企業(yè)為什么要擁抱人工智能,？很簡單節(jié)流增效效果極其明顯,，我在江蘇南通是全球的家訪集散基地，當時我和一個老板聊了聊,，他一年的流水不到40個億,，我們倆就說到工業(yè)機器人和工業(yè)智能有沒有可能在你那用？他說我剛買了一套大概1.2億,，這條產(chǎn)線實際上每年給我省工資直接省5000萬，現(xiàn)在的金融工具非常好對于他來講這個項目基本上意味著三年回本,，在年化超過33%的回報率項目你覺得好不好,？你覺得你要不要，你覺得他要不要,？后來我們倆又深聊了一下,，他看中的不是這33%，他看中的是當機器人工智能這些東西取代傳統(tǒng)人工進來之后,，一個企業(yè)真正獲得釋放獲得降低的是什么成本,？管理成本，不是真正的員工支出,，他是一個生產(chǎn)型企業(yè),，生產(chǎn)型企業(yè)特別容易出工傷，我們公司每年三五條人命是少的,，但是有了機器人我不怕,，第二機器人不用我上社保。第三個機器人不會要我加班費,，它就24小時連軸轉(zhuǎn),，機器人沒有工傷，機器人不會去因為這個產(chǎn)生各種的爭執(zhí),，你們公司100多人還管得住,，150—200人立刻管不住，尤其是廠房廠區(qū),，當它擁抱機器人愿意以很高的代價開始做的時候為什么,？是因為減員增效效果超出我們的想象，直接成本就是33%的收益,，還有管理成本的降低,。所以我們再談第二個問題是什么？工業(yè)也好能源也好交通行業(yè)也好各種的基礎行業(yè)擁抱人工智能是不可避免的趨勢，早還是晚的問題,。那么我們前面講過,，工控的發(fā)展最早做設備后來做系統(tǒng)，是因為整個工業(yè)的產(chǎn)線在發(fā)展,，工業(yè)在發(fā)展革命,，工業(yè)革命看到的一定是人工智能，那么人工智能的風險會不會被工控安全所繼承肯定會,。那么人工智能有什么風險,？簡單的看看。這個是比利時大學發(fā)的文章,，他用了一套基本的人工智能算法識別人的,，如果當它識別出來之后會編一個號認為你是一個人，但是當你身上貼了一張畫之后你發(fā)現(xiàn)它沒有辦法把你識別成人,，我們把它叫做現(xiàn)代的隱身服,，右邊的兩個動圖其實當我們也許用一些數(shù)據(jù)攻擊的方法人工智能就會失明，這個東西用在工業(yè)上用在能源控制上或者用在廠區(qū)的安保上會不會有風險,。第二類讓它錯誤識別,，大家聽到深度學習，深度學習效果非常好,，業(yè)界說的非常多,，我們看看深度學習遭受攻擊有沒有結(jié)果。

　　左邊一個是正常的深度模型模型,，我可以識別出來紅色區(qū)域是掛在架子上的毛巾,，有一個垃圾桶還有綠色的浴缸還有櫥柜都是正常的，但是當你進行一定的擾動或者是對數(shù)據(jù)有一定的修正的時候,，你發(fā)現(xiàn)機器人看到同樣的照片機器人看到的是不一樣,，它看到的就是右邊的，我們會把浴缸和垃圾桶合在一起識別為一個杯子,，遠看是有這個輪廓,。包括窗戶毛巾鏡子完全都被識別錯了，這種誤導攻擊放在將來產(chǎn)線能源控制或者交流物流無人車上會產(chǎn)生怎么樣的風險,，越重要的行業(yè)我們要求它越精確,，再一個逃逸攻擊，這個東西現(xiàn)在特別火,，它指的是什么,？我讓你識別成別的，原始圖片是這樣的本來那個機器模型人工智能它一看是一個熊貓,，但是當我加了一定的噪聲一堆點,，兩張照片疊加之后得出來的是這張照片,，但是放到人工智能的視覺下人認為它是一個長臂猿，而且準確率高達99.3%,，機器人十分肯定它就是長臂猿這叫逃逸攻擊,。

　　針對聲音的也有，針對聲音的主要是兩種,。一種是我們上面說的針對人類的,，還有一種針對模型的，我發(fā)出一系列的噪音,，人聽了不當回事,，甚至這些聲音會脫離20—2萬赫茲的人耳聽率，但是當機器聽到的時候,，機器就認為聽到了人聲立刻觸發(fā)相應的行動,，我們在三星S7和蘋果6上聽到這個聲音順利的喚醒開始撥打911或者把手機切到離線模式都可以做到這些東西。讓人聽了好像是噪音,，但是機器別聽成了指令,，以此類推還有很多，黑盒攻擊語音系統(tǒng),，從文本到逼真的人聲,，這也是特別火的,，我見到國際上兩三家公司都做出來了,，國內(nèi)百度說做出來我沒見到東西，它的邏輯是什么,？你過來說60秒的話說什么都行,，我把你的聲紋提出來用你的聲音去念任何一段我定義好的文字，你想想這個控制起來風險非常高,。再之后就是影響分類結(jié)果把熊貓看成了長臂猿,，我們各種越界的各種的越界內(nèi)存訪問逃逸攻擊數(shù)字樣本的對抗，比如說你寫成1就識別成2,，人看的就是1,，但是機器看就是2。我們前面講了視覺講了聽覺,，大概的決策也說了,，我們說說行為的問題，這是一個著名的機器人2016年逃跑了兩次,，從實驗室跑出來了,，為什么跑出來？是因為機器人本身具備了一定的智能可以自主尋線,，未來工廠里的機器人不會是在那靜止不動的機械手,，他們會有運動能力的，這個機器人跑出來因為當時的電子圍欄忘了收留了一個口，機器人一直跑到街上造成了擁堵,，跑了50米就沒電了,，電池不太多，后來把它帶回來過了兩天這個機器人又跑出來,，據(jù)說這一次是GPS壞了,，機器人定位錯了也跑出來了，無論怎么樣這也許是一個小事沒有造成惡劣的后果,，但是未來如果一個焊接機器人拿一個噴槍廠區(qū)走都是很危險的,。右下角的照片，這是2016年深圳高交會上這個機器人在展臺上站的挺好,，突然機器人瘋了把展臺的玻璃撞碎就出去了,，展臺碎掉了玻璃扎傷了一個觀眾的腳。我要談的是什么,？我個人覺得電影里講的人工智能水平超越人類毀滅人類應該還很遙遠,，但是對于他們的失控，對于他們控制過程的缺失以及草屋的引導,，給你惹一點麻煩應該說還是很現(xiàn)實的,。

　　再舉一個例子，福島核電站很多年了,，日本人剛做了一個機器人能鉆到福島核電站里面看各種的情況,，原來首席科學家是南開的客坐，就是因為現(xiàn)在高磁高爆的環(huán)境,，不知道有強大行動的機器人你仍進去這個機器人會在里面干什么,，萬一它真的抱著核廢料跑出來呢？所以我們上來很慎重做非常小的機器人能先看明白環(huán)境測好指標再上機器人,，因為這個東西一旦產(chǎn)生失控它的破壞力遠比你想的大很多,。對于人工智能有沒有人去管理他們呢？南開大學在做核心智能,，我們現(xiàn)在看到另外一個標準歐盟大概是在去年年底出的人工智能草案,，它跟工業(yè)有關系但是更多的是對于人工智能的框架進行了定義，最后我們簡單的說一下結(jié)論,，因為人工智能會改造整個工控系統(tǒng)對于工業(yè)革命有巨大的推動作用,，所以人工智能的風險必然會比工控安全所繼承，你想擁抱人工智能就需要擁抱它的風險,。我現(xiàn)在說點陰暗面還有陽光面,，有很多人也在用人工智能，對于工控里的漏洞什么在做挖掘效果也不錯,，但是更多的我們考慮是不是真的也許在等保3.0里面我們需要考慮一些兼顧人工智能風險的新型工控安全問題,，并基于這個框架來進行研究,，也就是大數(shù)據(jù)下的工控檢測。