《智慧城市大数据应用总体设计方案V2.5.ppt》由会员分享,可在线阅读,更多相关《智慧城市大数据应用总体设计方案V2.5.ppt(50页珍藏版)》请在悟道方案上搜索。
1、1,智慧城市大数据应用总体设计方案,P.2,智慧城市,1,Smart City,P.3,智慧城市提出背景-国家政策,XXX在中国共产党第十八次全国代表大会上的报告中提出:坚持走中国特色新型工业化、信息化、城镇化、农业现代化道路,推动信息化和工业化深度融合、工业化和城镇化良性互动、城镇化和农业现代化相互协调,促进工业化、信息化、城镇化、农业现代化同步发展。,工业化,农业现代化,信息化,城镇化,四化融合发展,要把有序推进农业转移人口市民化作为重要任务抓实抓好。要把生态文明理念和原则全面融入城镇化全过程,走集约、智能、绿色、低碳的新型城镇化道路。201X年中央经济工作会议,P.4,智慧城市提出背景-
2、城镇化发展,传统经济增长产生的问题,企业扩张困难,无效项目资源浪费,产能过剩,财政难以为继,外部需求疲劳,国际经济疲软,产城融合模式,以成本效率为追求的早起工业集中阶段,以目前竞争优势为追求的产业集聚阶段,以未来创新驱动为追求的新城区新社区阶段,城镇化,新型城镇化必然涉及城市产业的发展及其与城市发展的关系,而中国大大小小的各类城镇势必在新型城镇化过程中走向“产城融合”的新阶段。,在新型城镇化过程中,未来城市应更注重以下一些要素的提升,包括市场规范、人文特色、生产性服务业和企业家群体等这些关乎城市根植性优势与区域创新优势的软性指标。,P.5,智慧城市提出背景-信息技术发展,泛在化融合化服务化智能
3、化绿色化安全化,信息化在世界范围内迎来了新一轮革命浪潮,云计算、无线移动、物联网等不断涌现,各种新技术的聚合效应催生了一大批新应用、新业态、新产业、新生产方式和管理方式,改变了城镇化的发展方式和道路。,发展程度,20世纪下半叶信息技术发展迅猛,21世纪下半叶新的信息技术革命将出现,21世纪上半叶信息科学将取得突破性发展,20世界60年代信息技术的基础理论完成,信息技术,信息科学,年份,1940,1970,2000,2010,2040,2070,2010,大数据,P.6,智慧城市孕育背景,新型城镇化发展,城镇现实问题的解决,现代科学技术、智慧方法、体制机制创新新兴信息技术大发展、智慧基础的产业化
4、、城镇智慧化技术应用、资源循环利用等,人口资源环境瓶颈交通拥堵问题城乡均衡发展问题,二元结构问题城市安全问题,吸引高端资源激发新的应用知识成为基本要素催生高端产业,智慧城市建设,对技术创新与应用的要求,支撑,促使,支撑,破解城市发展难题,转变经济发展方式,P.7,无线城市,数字城市,智慧城市,智慧城镇的建设不仅是多方位的需求,也是最具备各种优越条件保证能建设成功的重大任务,智慧城镇,促进我国城镇体系中大、中小城市和小城镇协调发展,缓解大城市压力,是未来的必然选择。我国城镇体系协调发展中的短腿在小城镇,而小城镇承担着巨大的社会功能。希望乐从通过创建智慧城镇创新社会管理模式,为国内中小城镇的转型升
5、级找到可持续发展之路。住建部副部长仇保兴广东顺德乐从镇创建 “国家级智慧城镇试点示范”项目启动会,智慧城市的发展方向,P.8,智慧城市指标体系,国家智慧城市(区、镇)试点指标体系中明确:试点指标体系包含4个一级指标,11个二级指标和57个三级指标。主要涉及产业、民生、社会治理、生态环境、保障体系和基础设施建设。,保障体系与基础设施,保障体系,网络基础设施,公共平台与数据库,城市建设管理,城市功能提升,政务服务,基本公共服务,专项应用,产业规划,产业升级,新型产业发展,智慧建设与宜居,智慧管理与服务,智慧产业与经济,P.9,大数据介绍,2,Big Data,P.10,大数据汹涌来袭,未来10多年
6、数据将急剧增长IDC研究报告Data Universe Study提出“数据宇宙”的说法描述海量数据全世界权威IT咨询公司研究报告预测:全世界数据量未来10年将从2009年的0.8ZB增长到2020年的35ZB,增长44倍!年均增长率40%!,未来急剧增长的数据迫切需要寻求新的处理技术手段,原始信息,行业数据,知识,信息化技术,大数据分析,迎接大数据时代,P.12,大数据将带来巨大的技术和商业机遇,数据就像货币和黄金一样,成为一种新的经济资产。 世界经济论坛,未来的十年将更是一个以“数据”为引领的智慧科技时代。随着社交网络的逐渐成熟,移动带宽迅速提升,云计算、物联网应用更加丰富,更多的传感设备
7、、移动终端接入网络,由此产生的数据量及增长速度将比历史上任何时期都要多、要快。从沉淀的数据中发现有价值的信息,深入挖掘、综合利用、转化为知识,已不再局限于某些特殊行业的应用,而是成为智慧城市中的一种普遍需求。,数据资源,数据资产,数据能力,P.13,国家层面的大数据战略,以美国为例,2012年3月,奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”,这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”,将“大数据研究”上升为国家意志,对未来的科技和经济发展必将带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成
8、部分,对数据的占有和控制也将成为国家间和企业新的争夺焦点。,P.14,智慧城市中的大数据,设备传感器采集数据,社交网络数据,电商数据,感知数据,互联网数据,行业/企业内数据,交互,交互,交互,智慧旅游,智能家居,智能楼宇,智慧医疗,智慧交通,智慧物流,智能防灾,智慧矿产,P.15,智慧城市中大数据发展的驱动力,智慧城市产生的应用数据规模急剧增加中国移动一个省电话通联记录(CDR)数据每月可达0.5-1PB,而整个中国移动每月则高达7-15PB数据;如此巨大的数据量使得oracle等数据库系统已经难以支撑和应对南京市公安局320道路监控云计算系统,数据量为三年200亿条、总量120TB的车辆监控
9、数据百度存储数百PB数据,每天处理数据10PBTaobao存储14PB交易数据,每天新增数据40-50TB,P.16,智慧城市中大数据发展的驱动力,智慧城市在大规模数据处理和行业应用需求日益迫切出现越来越多的大规模数据处理应用需求,智慧城市中产生的大量应用数据没有得到充分利用。传统系统难以提供足够的存储和计算资源进行处理,云计算技术是最理想的解决方案。大规模数据处理提升城市发展能力通过对智慧城市中的大数据分析,充分利用现有数据和历史数据,对城市的发展提供决策支持,从而帮助城市的城镇化发展的规划。,P.17,智慧城市中大数据发展的驱动力,海量数据隐含着更准确的事实研究发现:大数据量可显著提高机器
10、学习算法的准确性;训练数据集越大,数据分类精度越高;大数据集上的简单算法能比小数据集上的复杂算法产生更好的结果,因此数据量足够大时有可能使用代价很小的简单算法来达到很好的学习精度。例如:2001年,一个基于事实的简短问答研究,如提问:Who shot Abraham Lincoln?在很大的数据集时,只要使用简单的模式匹配方法,找到在“shot Abraham Lincoln”前面的部分即可快速得到准确答案:John Wilkes Booth,P.18,智慧城市大数据发展愿景,各行业用设备(传感器、摄像头、智能卡、卫星定位、移动电话等),基础数据(人口、法人、地理、物品)业务数据(交通、旅游、
11、防灾、医疗等),城市规划、城市运行、应急处理,P.19,总体设计,3,Overall Design,P.20,统一服务中心,统一终端接入,统一基础设施,统一指挥中心,统一地理信息平台,统一协同工作平台,统一信息发布平台,统一数据共享平台,智慧城市,框架概念设计,统筹规划智慧城市的建设,建立统一的基础设施、指挥中心、信息发布平台、数据共享平台、协同工作平台、地理信息平台、服务中心、终端接入。保证应用之间的互联互通,避免重复建设、信息孤岛的情况发生。,P.21,感知层,标准规划体系,数据层,法人数据库,物品数据库,地理数据库,人口数据库,基础数据库,数据共享平台,应用层,智慧旅游,智能家居,智能楼
12、宇,智慧医疗,智慧交通,智慧物流,智能防灾,RFID,传感器,视频摄像机,平板电脑,移动电话,智能卡,定位系统,运行管理体系,智慧产业体系,安全保障体系,智慧矿产,智慧城市概念框架,P.22,感知层,标准规划体系,数据层,法人数据库,物品数据库,地理数据库,人口数据库,基础数据库,数据共享平台,应用层,智慧旅游,智能家居,智能楼宇,智慧医疗,智慧交通,智慧物流,智能防灾,RFID,传感器,视频摄像机,平板电脑,移动电话,智能卡,定位系统,运行管理体系,智慧产业体系,安全保障体系,智慧矿产,大数据在智慧城市位置,大数据应用范围,P.23,政府/监管部门/相关单位/普通市民,智慧城市数据生态体系,
13、个性化数据,信息层,结构化数据库,文本,3D建模,智能报告,图形,音视频描述,文本文件,日志,源文件,半结构化数据,非结构化数据,网页,索引,资源库,词库,媒体资源,可视化,系统日志,终端数据,社交,文档,传感器数据,RDBMS,图片,音视频,知识元,远程作业,传感器,视频摄像机,平板电脑,移动电话,智能卡,定位系统,摄像机,服务器,PC电脑,应用数据,感知层,故障跟踪,预测分析,城市主体库,行业知识库,情感分析库,用户行为库,知识层,数据层,资源层,P.24,资源层,外部服务,知识元,Web服务,收集资源,终端数据,传感器数据,图像信息,声音信息,视频信息,调查数据,行业服务,其它服务,IP
14、信息,位置信息,金融信息,资源管理与维护体系,资源安全体系,管线施工标准,环保标准,给排水标准,道路施工标准,道路交通法规,车辆管理标准,居民健康档案,药品管理规范,医疗设备规范,餐饮管理办法,景区管理规范,旅游景点档案,数字城管,智慧交通,智慧医疗,智慧旅游,P.25,数据层,文本,网页内容,资源库,文本文件,日志文件,源资源文件,结构化数据,图形,音视频描述信息,词库,半结构化数据,非结构化数据,索引,媒体资源,系统访问日志,常住人口信息,索引信息,行业词库,P.26,知识层,用户行为搜集用户行为分析和对模型反馈,城市主体库,行业知识库,情感分析库,用户行为库,行业知识发现行业知识趋势分析
15、,城市主体聚类、分类挖掘主体继承、包含等关系,多语言词语情感训练情感分析模型,P.27,信息层,信息检索,远程作业,故障跟踪,智能报告,情报舆情分析,3D建模,可视化,预测分析,综合资源层、数据层、知识层内容,依靠硬件环境支持,结合业务逻辑和商业模式,建立为用户提供高质量、精准、易体验的信息应用,信息应用,P.28,情报舆情分析,实时分析各种社交媒体数据各种事件、主题进展提供决策支持,信息层(例),P.29,用户层,P.30,大数据处理生态体系,公/私有云(Openstack, AWS),高性能集群,虚拟主机(Openstack),底层资源管理(Matrix),上层通用调度(Long-Sche
16、duler),数据备份,Mysql,Oracle,Sqlite,BerkeleyDB,Cassandra,Redis,Memcache,NoSQL,Lucene,Nutch,Xapian,分布式缓存,分布式存储,数据容灾,Nave Bayes, KNN, SVM, Random forest,K-means, GMM, LDA, NMF,分类,聚类,推荐,User-based model, Item-based model,Mahout, Weka,并行计算引擎,柱状图、饼图、折线图、散点图、雷达图,网络展示、簇展示、树展示、地理展示,多维度展示,Javascript(d3.js, Highc
17、harts, ECharts),CS(Gephi, R, Tableau),HTML5,硬件平台,分布式存储,计算,算法模型,可视化应用,P.31,广电解决方案,4,大数据解决方案,Agenda,广电优势,广电面临的问题,广电大数据解决方案,数据提供可持续性广电服务的连续存在为数据的持续性提供了保证,广电优势,丰富的数据资源1. 用户业务数据 1) 用户办理业务时提供的实名信息(姓名、年龄、性别、单位等) 2) 用户业务消费信息:业务类型、业务资费等2. 用户行为数据 1) 观看数据 2) 行为轨迹(频道切换、观看时常等) 3) 检索信息3. 社交活动数据 1) 社交活动(SNS) 2) 情绪
18、感知,数据可利用性高可通过海量数据分析技术,更加精准、高效地把握用户需求,为广大用户和社会提供个性化、友好的产品和服务,改变“管道工”的命运去管道化,互联网、IPTV等新媒体冲击 新媒体给用户带来更丰富、更快捷的内容获取途径,传统电视台目前自建的网络广播电视在规模、影响力和创新能力等方面有较大差距;新媒体对传统电视台的冲击非常之大,互联网/OTT冲击,数据问题,数据隐私,如何避免隐私泄露问题未能解决,大数据运营有风险 人们对于隐私问题越来越重视,数据公司掌握大量数据和数据制造者要求隐私权之间的矛盾,使得大数据使用变得困难,数据处理种类多,单一技术难以实现 各大数据系统数据模型不统一,只具备结构
19、化数据处理能力,无法支持非结构化、半结构化数据处理,无法满足互联网类业务发展要求,商业模式,尚未确立商业运营模式 广电掌握的数据很多,但是这些数据应该怎样应用,给谁用,应用收益是否可以抵消数据开发分析的成本,这一系列问题也让广电非常困扰,广电面临的问题,第一,首先解决隐私问题1)运营商需要有隐私意识2)运营商需意识到对于某一领域批量无记名数据的利用并不会泄露具体到个人的信息3)通过“特征画像”的技术避免数据隐私问题第二,支持大数据的技术1)建立大数据的数据生态系统2)支持不同的数据类型、格式,建立处理技术生态系统第三,创新商业模式1)个性化精准广告2)传统行业市场分析3)数据增值服务4)互动信
20、息平台,广电大数据解决方案,非隐私数据,隐私数据,用户画像UID,数据隐私问题解决,源数据,数据分类,去隐私化,特征抽取,数据分类根据数据特性进行分类去隐私化通过人工智能、数据挖掘等技术去除数据隐私特性特征抽取提取数据特征,生成用户画像,例子:13x xxxx xxxx刘大,男,28,南京,观影:NBA直播、CBA直播,例子:电话号码Hash姓名Hash观影挖掘:篮球、观影时长,例子:男28南京,例子:13x xxxx xxxx刘大NBA直播、CBA直播,例子:UID: 3515 xxxx xxxx标签:年龄、地域、性别、兴趣、事件,基本数据,行为痕迹,情绪感知,搜索信息,社交活动,消费行为,
21、传统电视平台,观看数据,高性能集群HA/KeepAlived,HBase NoSQL Lucene,RDBMS(MySQL, Orcale),公/私有云Openstack/AWS,分布式计算(HDFS, MapReduce),流式计算(Storm,S4),数据挖掘TP/CART/NB,机器学习SVM/UB/LDA,大数据技术解决,精准广告,数据增值,应用商城,云游戏,社交商城,趋势预测,热门节目,内容推广,数据可视化,互联网电视/IPTV,互动信息平台,传统行业,个性化数据,RDBSM/NoSQL/Lucene + Openstack + Hadoop/Storm解决方案,分布式存储,传统开源
22、/商业数据库,MySQL,Sqlite,Berkeley DB,Cassandra,Redis,Lucene,Nutch,Xapian,分布式缓存:多服务器MemCache缓存分布式存储:基于MySQL的分布式存储,可考虑淘宝开源的分布式存储TDDL数据备份:通过数据服务器集群备份,Rsync+SCP数据容灾:通过服务器集群负载来做容灾,KeepAlived+HAProxy,特定功能的(半)结构化数据存储,非结构化,Oracle,MemCache,NoSQL,存储方式选择原则:数据格式数据大小数据安全处理速度,核心项目:HDFS:Hadoop的分布式文件系统MapReduce:分布式数据处理模
23、型和执行环境其余项目:HBase:Hadoop的数据库Hive:Hadoop的数据仓库Pig:Hadoop的高级查询语言,一个进行分布式计算和海量数据处理的开源平台,计算,分布式计算Hadoop解决方案,计算,分布式计算Hadoop解决方案,计算,流式计算Storm解决方案,由Twitter公司开源,提供分布式实时批处理和流式处理解决方案,特别是对于动态的连续流数据处理有非常良好的效果。,Storm保证每个消息都会得到处理,在一个小集群(10台机器)中,每秒可以处理数以百万计的消息。对于海量的光电行业中电力业务、状态数据,Storm可以进行实时地批量处理,计算,流式计算Storm解决方案,简单
24、的编程模型支持多种编程语言容错性:对于出故障的节点和进程,Storm有健全的监视机制来恢复状态水平扩展:支持多线程、进程和服务器之间并行进行可靠的消息处理机制:确保每个消息至少得到一次完整处理,任务失败时,会从消息源重试消息快速,个性化精准广告AD EXCHANGE,DSP(Demand Side Platform): 需求方平台,设置目标受众、投放区域和对广告明码标价SSP(Sell-Side Platform):供应方平台,提供流量、广告展示位、获取广告位费用Ad Exchange是互联网广告交易平台,类似股票交易平台的作用,联系广告交易的买方和卖方,目标:提升广告主和广告平台业务,增强广
25、告投放效果,促进广告市场,精准广告+数据增值,用户画像UID_1,用户画像UID_2,用户画像UID_n,用户组1,用户组2,用户组3,用户组n,传统电视平台,互联网电视/IPTV平台,门户用户,社交用户,搜索门户,APP用户,互联网数据收集,DSP,SSP,用户数据1,用户数据2,用户数据X,特征提取,互动信息平台,用户数据n,五道口酒店广告,手机广告,数据收集,移动应用APP,个人,研究机构,企业,政府部门,数据打包或者API,API,P.45,用例说明,5,User Case,P.46,跟踪记录 车辆轨迹,跟踪记录车辆轨迹,拼车建议,根据时间轨迹相似性对车辆聚类,拥堵预测,多因素分析,路
26、线规划,实时道路情况及拥堵预测结果,违章车辆追踪定位,预测恶性事故,对事故高发车辆进行行为监控,信号灯间隔时长实时调整,实时道路情况及拥堵预测结果,道路规划,城市布局规划,道路车流量分析,道路车流量分析,车牌分析,大数据在智慧城市案例智慧交通,P.47,大数据在智慧城市案例智慧交通,P.48,铁路客流,航空客流,公路客流,酒店入住,饭店订单,旅游公司客户,景区客流量,规律挖掘分析,计算模型,安保设施配置,景区路线引导,应急预案制定,景区客流量预测,大数据在智慧城市案例智慧旅游,铁路订票,航空订票,公路车流,酒店预订,饭店预订,旅游公司预订,P.49,管道监控,水质监控,建筑监控,智能防灾,温度传感器,湿度传感器,烟雾传感器,音频传感器,红外传感器,光谱传感器,气态感知器,天气数据,建筑信息,火情监控,火灾预警,火灾报警,风险评估,设备巡检,消防规划,防控管理,损失评估,大数据在智慧城市案例数字城管,P.50,谢谢,