由中国电机工程学会电力信息化专委会、国网信息通信有限公司主办的、北极星电力网全程直播的2012电力信息化年会上,国网信通公司刘建明总经理在本次大会上做了以《大数据的应用与未来》为题目的主题演讲,以下为现场文字直播:
刘建明:非常感谢大家,我们吕俊峰今天因为有一件事来不了,昨天告诉我让我救场。这一个PPT大数据的应用和未来,是星期四的晚上在浙江讲了,他们觉得讲的还不错,我昨天晚上回去之后在一起讨论增加了一点内容。
大数据,这里面有一些昨天讲了,大数据向我们走来,这是2011年10月麦肯锡有一个观点,他有一篇文章你准备迎接好大数据时代了吗,将来大数据能够成为企业新型资产,正如强大品牌一样,这是麦肯锡观点。
今年1月份达沃斯论坛发布了一个报告,这个叫大数据,大影响,数据已经成为一个新的经济资产,向货币和黄金一样,数据是企业的资产,数据是金矿,就看你怎么挖掘了,这是达沃斯论坛提的。
紧接着奥巴马在3月29日,奥巴马政府发布了大数据研究和发展倡议,他投入2亿美元启动大数据研究和发展计划,这是美国政府大数据战略重要一环。
7月10日三个多月前联合国发布了政务白皮书,大数据促发展挑战和机遇,他建议联合国成员国开发大数据潜在的价值,这是目前几个比较重要的阶段,去年的今年年初的今年3月份和今年7月份的三个阶段,说明大数据的重要性。我们国家也有一些大数据的论坛,百度等等都在提。我认为大数据也属于一个颠覆性的技术,我们看一眼传统颠覆性技术的变化,这两个片子,这不是我写的,这是邬贺铨院士,我在他PPT里面选的两个,我觉得很有意义,让大家感受一下。
我们看什么是颠覆性技术,我们最近在工程院写一个报告,这个报告就是讲信息的颠覆性技术的发展,首先分析原来颠覆性技术,对原来有产业产生颠覆性影响,原来的集团和公司就倒闭了,就没有了。刚才潘博士讲了内存计算,那个做完了以后,如果将来固态硬盘,我的笔记本都是固态硬盘,以后搞磁盘的厂家很悬了,尤其是小厂家。我们看这几个颠覆性技术,数码相机的出现使得传统像机很多厂商逐渐退出舞台或者倒闭了。原来的录音录像机,有了DVD以后很多那些像机厂商没有了,现在看下面第三个U盘和电存储,软盘已经退出舞台了,我们现在还有用软盘吗,没有,以后DVD播放机都没有,现在高清就在U盘硬盘上就行了。
高清电视,液晶电视,把模拟老的CRT显示给退出舞台。还有光纤,还有互联网和传统电信网,最后是智能手机和功能手机,老的手机厂商也是倒闭了。
我们看到互联网和传统电信电网,现在由于有了互联网,在互联网上打电话,传统固话运营商都很悬,这是颠覆性的变化。
我们再看一下几个发展,这是信息通信技术的发展,1939年发明了电视,真正应用起来不是在39年,这是72年前,计算机是1944年,67年前,我们现在的发展。这是IC芯片,电子管就退出舞台,这是52年前。光纤是1966年,现在有45年了,我们很多技术是出来以后,大概十多年以后才能够投入应用,真正发展起来也就是出现以后大概二十年的时间。
互联网是1969年美国在军事方面应用,然后推出到家庭,推到社会上应用,这是42年前。我们看一下PC,PC最早是苹果,苹果是37年前,我们很多都用了,后来IBM,然后苹果下去现在苹果又上来,这是个人电脑。
电话,我们很多老同志用过大哥大,现在有的在电视上看到,这是32年前。10年以后就变成了手机了,手机现在又十年变成智能手机了。
WEB时代22年,宽带移动通信3G,我们现在大部分人用的都是3G手机,这个是12年前,我们国家7、8年前发的执照,我们现在用的4G,现在很多电脑公司都讲到了4G,LTE,刚才华为也提到了。我们主要讲讲旁边这些,智能手机,物联网,数字时代2012年平板电视,再往下今年是大数据元年还是明年是大数据元年,这个提法还不一定,我看很有可能明年发展更快,有提明年是大数据元年。云计算,大数据,我们现在策划2020年是一个什么时代呢?大家可能都在想,我看最近网上有一篇报道说2020年是大数据真正应用的时代,现在只是一个启动。
大数据和宽带中国,这是国务院网站上,我今天早上把这一篇下载下来放在这,5月9日温总理主持会议提出来宽带中国作为咱们国家战略,提出普及光纤到户,昨天上午有一个访谈,专门问我在农村和乡镇咱们电力光纤到户是什么影响,是什么情况。宽带中国和大数据应该说有了宽带中国,咱们才有真正大数据的应用。
在上午华为介绍的时候也介绍了,我们最早从K到兆,很多同志都经历过,后来从兆到G,现在从一千G到一个T,现在大部分数据在一T到1000T,再往下发展还有很多了。这些数据的发展,因为我们现在运算速度非常快,计算机的存储非常快,刚才潘博士讲的内存计算也是因为这个原因。我看了一篇报道做的小硬盘,咱们用的电脑硬盘比做飞机还难,因为存储越来越大,一个T,两个T,三个T,家里面小的移动硬盘三个T的,非常难做。而电子盘的发展非常快,现在速度也非常快,存储能力也很快,可能要不了多久,我想手里面拿的三个T或者十个T都有可能,完全是电子盘。苹果的电脑,我们用的戴尔里面电子盘就是一小排,大部分都是电池,他的电池能够支持八个小时,有个六个小时,已经很轻了。但实际上里面主要是电池,我觉得他主要还是挣钱,其实IPAD除了电池完全可以做的非常大的硬盘,做到64G,128G都很容易的。
我记得以前和潘博士也探讨过内存计算,刚才讲到有一些我在这里强调一下,大数据的特点,网上和资料上有讲三个V,四个V,五个V,我这里面说五个,第一个是巨大的数据量,我觉得大数据先把小数据做好,把海量的数据处理好。另外大数据一般来说是两种数据,一种是结构化数据,一种是非结构化数据,结构化数据就是我们现在用的存在硬盘里面的一些东西,除了图片、视频以外。非结构化数据主要是视频,图片,扫描这些东西,数码照相机拍的,我们家里面需要三个T或者十个T,里面大概95%都是视频文件,图片文件,剩下才是WORD,PPT这些文件。第三个V是处理的速度非常快,因为现在的数据处理的非常快,所以我们才能提我们现在进入了一个大数据的时代。第四个V是什么呢?就是价值密度低,刚才潘总讲50%,实际上数据的价值他讲垃圾是50%,我感觉大概80%甚至90%你只要不用都是垃圾,就是没有用的数据,我们把数据检索用,想办法让这90%垃圾变成金矿。第五个V需要有一个足够的精准性或者是准确性。
大数据应用的演进,我们大部分从数据开始的到信息,然后信息后面是我们要做的工作,变成知识,我等一下举几个例子,然后变成可视化,大数据非常难做的是可视化,可视化做好是使数据产生价值,然后进入到网络里面去。
领先的企业不能只是收集和存储数据,他们正在围绕数据采用相应的定量和统计信息,以及预测建模方法,挖掘更加强大而有价值的信息。哈佛商业评论里面说管理者可利用大数据将业务重化,进而掌握公司业务,这意味着一场管理革命。
IDC公司对全球的数据增长和数据类型分布情况进行了调研,从2009-2015年对结构化数据和非结构化数据的变化分析,他说这些内容数据的增长非常迅速,另外有巨大的价值。
这是米过德克萨斯的一个研究报告,你如果把数据用好了,数据的使用率提升10%,对那些行业提升特别大呢。我们看第一个最高的是达到49%,是零售业,所以淘宝,还有一些大的超市都在研究。咨询服务业是39%,IBM早早发现这个问题,他后来把咨询服务做好,他比较简单,这里面提高39%。剩下的航空、食品加工,建筑、钢铁、汽车、出版,基础设施,包括能源还有电信业,电信业在这些里面最低,他是17%,这些都在20%左右,我们把数据做好以后企业是可以增长,利润是增长的。
大数据源自何处。现在统计大数据里面来得最多的还是什么呢?还是自我跟踪和互联网的技术。自我跟踪这里面叫自我跟踪,什么意思呢?实际上我们的手机,我们上微博,我们做的东西都是自我跟踪,自我了解。这些数据的采集是非常多的,自我跟踪这一项技术原来来自于医学,信息记录下来,这些信息有视频,有音频,你到哪个地方去照相,出去玩,这时候来开会,大家都在拍PPT,这都属于自我跟踪,记住自己的行径,一天工作多长时间,干了什么事。
这里面有三个,第一个是微视觉传感器,这是非常小,可以放到血管里面走一圈回来全部拍下来,记下来之后取出来,他把跟踪的数据取了,这个也是非常大的,以后很可能去看病先装一个,然后取出来。下来是微电流传感器,这就不介绍了,我们有应用。微型侦察机,这是美国的,很小在手上,这里面有很大的内存,放上去以后帖到外面的玻璃上可以把里面的讲话和拍照取出来传给后面的后台。
微型传感器还有自我跟踪,他的体积非常小,质量也很轻,这里面写的是微米和纳米,功能也很灵活,这都是自我跟踪经常用的,我们可以装到电器上面,一次设备上。
我们在甘肃做了一个应用,我介绍一下六个内容,下面是采集用电数据,刚才华为也提到了。第二个是并行的ETL,就是数据的存储到云,下面是物联网,上面是云包括能效分析,用电检测。之后是有序用典,智能互动。我们装了这个以后,企业对数据分析能提高8%,一般都是5%,家庭应用应该是到10%左右,日本说能够到15%,美国原来讲,检查了一下利用这种技术能够到11.4%,后来在2010年底能源部又做了一次,他估计能够到20%,就是通过智能用典和分析。
这是家庭用户的能效分析,就不介绍了。这是国电通公司,还有我们信通公司等等一起做的发改委的项目,北京市投运五个小区,示范攻取353个采集点,采集1.2万个参数,包括频率、电压、电流等等这些。采集频率如果15分钟每条记录按照现在标准是164字节,一天产生34GB,整个城市要装就是海量的数据,这个为阶梯电价能起很大作用,我们现在数据采集还是不全,应该采的更全,将来十年、二十年,五十年以后再分析,就不会看到法国电力公司EDF我们没有,人家有。
在这里随着数据的发展,宽带的应用,我们看一下智慧城市指标体系1.0,这是上海浦东政府提的标准,他这个标准指标体系大家可以在网上看,内容很多,这个指标体系反应了我们今后智慧城市,反映了大数据的应用还有宽带网络。现在建设部正在定,很有可能参照这个标准。比如说家庭光纤接入率大于99%,无线网络覆盖率大于95%,户均网络接入水平大于30兆,这些指标里面都很高,就这个指标我觉得低,为什么呢?电信原来讲十兆后来讲二十兆,最近我听他们说准备提40兆。美国政府提的2020年到一百兆,实际上很有可能到2015年做到一百兆,我们家里面装高清,一个高清是八兆,装两个电视是16兆,加上云就超过他了,如果是蓝光,一个蓝光电视上就是24兆,我们现在大家看到这个屏幕都非常清楚,都IT电话,你用这个是24兆,家里两个电视都不行了,怎么也得100兆。我们现在研究10PON,这个技术很容易就突破了,关键还是在骨干上,现在讲宽带,你家里速度在高,你那个速度低还是问题,骨干网络我们后面有一个OTN,前面贝尔也介绍了。
家庭的网购比例要大于等于60%,市民上网率大于60%,再过十年小孩都长大了,这个肯定要超过,还有网购比例,我们很多同志都在网上购物。
下面讲一下淘宝网,淘宝网进行大数据分析,他做了很多类似这样的分析。我取了一个例子,他这个数据分析,把淘宝网上买东西,女同志购买了女装以后还喜欢看什么,还买了什么东西,他把这些数据统计了,结果买了女装以后还买鞋,买服饰,买彩装,还买内衣,还买流行的男鞋,他采取这个方法,你如果买了衣服,把相关的绿色的放在旁边,你有可能去点,而这些家访、电玩,古董离的比较远,这是他统计的方式,提高他买东西的效率。
这是人立方关系搜索,我不知道在座有没有用过,用过的请举手。这是IBM开发的,我们国家现在上网可以上岛,我选了一个姚明的关系图,他和叶莉关系很好,因为两口子,还有麦蒂,他好象跟麦蒂更近一点,然后王治郅,易建联,这是他的关系图,我把我自己放进去也看到了,我跟谁什么关系,我自己都不知道,他告诉我们,但是不一定准确,你们回头可以上网站试一试。我们看网站做的很不错的。对不起我说错了,微软亚洲研究院的,你看邓华德还可以点详细的信息,我点了叶莉,他马上就说叶莉和谁的关系,这是姚明,这个图比较简单了。今后这个分析更复杂了,这是我们讲的人立方。
寻找你发出的短信,我们在座的北京的同志比较多,也有同志从外地发给北京,也有同志在北京互相发短信,中国移动做了一项工作,看一看他在今年过年期间,哪个地方发短信最多,今后在那个地方建站,这也是一个典型的大数据应用。这是年除夕的情况,四环的量最多,南城这边比较少。我们看到22点了开始下来了,大家都在吃年夜饭,这些短信都是我们在座做出的贡献,都是大家发的。网络上有这个视频,大家下载就可以了。
我昨天参加分会场,我看到了材料,这个三维视频,我大概是90年代初一直想做,后来带了一个博士生做的,也是跟他们合作的,做了开关设备三维的。他们当时买了一个三维扫描仪,我们在白广路院里面进行扫描,扫描之后自动成像,现在做了一个LIDAR系统,这个检测精度可以到厘米级,然后车开扫描,他是最先进的车载空间数据采集。这个车上装的是这样的,当然有一些设备我给拿掉了,GPS要定位,这个要非常准确的,另外要有三个扫描仪,还有数码相机,整个回来以后就把这个系统路途上的线路上的都可以采集下来,然后三维成像,采取这么几个过程。首先是用车做数据获取,然后做数据处理和加工,之后提取管理,最后到可视化。这是整个过程,最后形成一模一样的。空间信息,这是必须要做的,各个国家都在做,现在谷歌做的不错,百度也不错。
指标可以到厘米级,每秒钟30万个点,速率每小时大于三公里,直接出来3D点,大家比较关心3毫米直径的电线,这主要是给配网应用。我当时问了几个事,因为以前我知道买的三维扫描仪是机关扫描仪,是100多万,他这个是500多万,这配齐了可能要到1000万。我关心三维旋转后数据量,还有自动成像,三维立体打印行不行,前面已经回答没有什么问题,三维立体打印还要试一下,成像也可以,但是有什么问题呢?现在机器工作一次是六个小时,如果数据采全了估计一天只能工作三个小时,最主要原因不能存储,我估计也包括计算不行。刚才内存计算技术,存储技术都放进去,应该给车配一个大的固定硬盘,现在硬盘也比较小,是500G,这个车还需要改进,但是这件事今后更简单了,以前谷歌雇佣一些人骑自信车在街上弄,以后在车上看到这个就想起来信息化专委会大数据宽带中国介绍这个。
数据和三维的立体打印机,刚才讲的东西我们扫描回来以后,我说你不一定扫描线路,你扫描变电站也很有用,扫描电厂也很有用。扫描完之后把变电站压缩,一打印一个实体变电站,然后分析和了解,我们变电站太大,很多人值班很多时间都不知道具体的东西,完全可以通过立体打印机。中央电视台报道过,网上也有视频,这种打印机打出来真正的东西,我们以后家里面很多东西,说是飞机12%都是用这种立体打印机打的,非常快,生产起来也很快。
我们看到航空制造打的医用的种植体和家具的工艺品。这样每一个人大小都可以变,他专门讲了牙,我们牙可以拿这个对系打,每个人牙不一样,以前模具时间很长,现在早上去,中午就回来了,牙就补好了,他可以打出来,打出来有一个模,这把外面支撑体拿掉就变成一个真正的东西。上次谁告诉我还可以打印红烧肉,打出来跟那个一样,我看了一下大部分现在还没有彩色的。
刚才讲的激光打印是需要大量的数据,这些数据分层处理,然后打印出来实体,这也是典型的应用。
智能电网大数据我就不读了,回头我这个做成PDF。这是智能电网和大数据之间的关系,还有商业智能的关系处理,都说明需要大量的应用。
这是两个电网应用的典型案例,左边是结构化海量的大数据,我们一些数据的采集,用电,企业管理等等,右边是视频资源,昨天说国网公司有几十万个,我们还没有统计很准到底有多少视频头,采集的这些视频,就跟北京市到处装着视频,你自动分析和处理很困难,大量数据没有用。我们现在硬盘没有那么大存储量,一般三个月或者一个月就扔了,以后还是有用的。上来两个,这两个是并行的,一个是监测,一个是分析。再往下是展示,我们值班人员也非常需要这些数据的展示和分析。两个箭头合并,就是决策支持,如果大数据处理的好,以后为决策支持这是我们的理想状态。数据的处理增加趋势,我们看到了从兆,G、T、P,等等。我们信通公司从去年开始做了一些大数据工作,主要还是从今年开始的,现在是培养人才,因为这些人有传承,真正能用得上,真正能够发挥作用,我估计大概2015年还是2018年甚至2020年。另外建设一些环境建设,这是大数据的实验室,这是在信通公司白广路和亦庄都建了,这是国家科技部有关领导和科技部有关专家到现场去。这是上一次专委会论坛,有很多委员都参加了,在我们的五层。
我们还做了一些可视化用电负荷的,这是每一天每一个时间,大家现在看到的数据是我们真正的数据,但是并不是我们这个楼。我们看到这是白广路,我们的楼,这是宣武体育场,这是酒店。这些是别的酒店的数据,比如说我们看这是一个港中旅,这是管道大厦,这里面显示什么意思呢?每一天在白天的时间,我们通过它模拟以后可以看到晚上六、七点钟,红的是负荷比较大,剩下负荷比较小,这是一种展示方式。传统的展示方式肯定要变换,我们现在用单线图的电网控制的方式,还是用来用DOS的标准,那时候画的单线图,画的各个方面的一些应用。后来到了Windows,之后把开关,单线图,潮流等等沿用过来,因为大家已经熟悉了,没有一个推动今后肯定还是要推动,完全变成面向对象的。
这个酒店的数据跟这个酒店,你如果要展示这样谁能看,根本没有人看,都是密密麻麻的,这是2010年几天,如果更长时间,一周一个月更没有办法看了。
刚才华为介绍了无线宽带,我这也讲一下,也是属于无线宽带,我们讲的宽带中国不光是光纤,包括了LTE,这是2009年下半年开始研究,然后2010年开始试用,2011年正式试用,我们装了三个基站,可以做视频监控,用的是230兆,这是电力专用频段,我们使用3DPP标准,不同的频点,我们这是一个离散的频点,之后进行聚合。另外采取自动频谱感知。而这个电力专网,也是今后发展的一个方向。海盐这一次没有提交论文,上一次还专门介绍,这是装LTE230,我们以后在座的手机大部分可能要换成4G,因为这个速率比较快。
这是部署的几个站,这些数据的采集都是需要处理的,海盐并不是很大,基本上三个基站都可以覆盖了,现在准备再增加三个,把这些点也给覆盖了。单基站距离可以到12公里,这申请了23项发明专利。
这是基站单元,还有射频单元,我们使用的是光载,最近国网公司2012年项目课题四我们也是在申请,这些工作已经做完了,只是在申请课题项目,他们正在编写12日交。我们看到这里面重量18公斤,有电视四分之一大,功耗也比较小,可以覆盖2000个用户。这是取得的一些成果,最小的射频单元只有这个一半。
下面讲一下宽带中国里面一个OTN传输,我这个比较简单,刚才华为还有贝尔都介绍了他们的技术指标。这里面写了假设一条新车道相当于原来2.5GSDH,我们现在上40×16G,这相当于160条车道全部集中在一条车道上,我们可以看到外面有一个烽火介绍,今年11月底12月初准备考察一下相关光通信,这样传输距离更远,也可以用OTN。
下午还有一个总结,我害怕没有时间,我把几个想法说一下,专委会下一步的工作。准备编写《中国电力大数据白皮书》,我们回头组织到发电企业,新能源,还有电网企业进行调研,调研编写这个大数据白皮书,现在提纲已经弄出来了,昨天专委会开会大家也提了一些意见,觉得还要修改,修改之后拿这个编写调研,大家愿意都可以给我们秘书组提供一些资料,建议,凡是参加编写的同志一定要写到名单里面去。
第二,组建中国GIGRE信息化专业工作组,我希望电力同志多参加这个工作组,一个是参加电力工程学会的,我们自己在组织中国信息化专业工作组。刚才栗宁介绍,参加了以后国际上一些文章,国际上新的电力信息化的发展方向,他把这些东西都寄给你,你可以跟着国际一起走,我们真的应该走出去,我们做了很多工作没有时间宣传,另外两年一次会议,我们信息化太少,今年只有两篇,也算不错了,栗宁是代表,大家都可以跟他联系。
第三,ICT专题研讨会。主要大家来交流经验,另外关于一些实在的应用情况及时向大家汇报。
我耽误了大家点时间,抱歉,也请各位指正,里面有一些不一定对,谢谢大家。