大数据应用服务平台解决方案.doc

《大数据应用服务平台解决方案.doc》由会员分享，可在线阅读，更多相关《大数据应用服务平台解决方案.doc（38页珍藏版）》请在悟道方案上搜索。

1、 大数据应用服务平台 解决方案 2 / 38 目 录 1. 大数据概述 . 6 1.1. 概述 . 6 1.2. 大数据定义 . 6 1.3. 大数据技术发展 . 8 2. 大数据应用 . 11 2.1. 大数据应用阐述 . 11 2.2. 大数据应用架构 . 13 2.3. 大数据行业应用 . 13 2.3.1. 医疗行业 . 13 2.3.2. 能源行业 . 14 2.3.3. 通信行业 . 14 2.3.4. 零售业 . 15 3. 大数据解决方案 . 16 3.1. 大数据技术组成 . 16 3.1.1. 分析技术 . 16 3.1.1.1. 可视化分析 . 16 3.1.1.2. 数

2、据挖掘算法 . 16 3.1.1.3. 预测分析能力 . 16 3.1.1.4. 语义引擎 . 16 3.1.1.5. 数据质量和数据管理 . 17 3.1.2. 存储数据库 . 17 3.1.3. 分布式计算技术 . 18 3.2. 大数据处理过程 . 20 3.2.1. 采集 . 20 3.2.2. 导入 /预处理 . 21 3.2.3. 统计 /分析 . 21 3.2.4. 挖掘 . 21 3.3. 大数据处理的核心技术 -Hadoop . 21 3.3.1. Hadoop 的组成 . 22 3.3.2. Hadoop 的优点： . 25 3.3.2.1. 高可靠性。 . 25 3.3.

3、2.2. 高扩展性。 . 25 3.3.2.3. 高效性。 . 25 3.3.2.4. 高容错性。 . 25 3.3.3. Hadoop 的不足 . 25 3.3.4. 主要商业性“大数据”处理方案 . 26 3.3.2.5. IBM InfoSphere大数据分析平台 . 26 3.3.2.6. Or a c l e Bi g Da t aApplianc . 27 3.3.2.7. Mi c r o s o f t S QLServer . 27 3.3.2.8. Sybase IQ . 28 3 / 38 3.3.5. 其他“大数据”解决方 案 . 28 3.3.2.9. EMC . 2

4、8 3.3.2.10. BigQuery . 29 3.3.6. 大数据”与科技文献信息处理 . 29 3.4. 大数据处理技术发展前景 . 29 3.4.1. 大数据复杂度降低 . 29 3.4.2. 大数据细分市场 . 30 3.4.3. 大数据开源 . 30 3.4.4. Hadoop 将加速发展 . 30 3.4.5. 打包的大数据行业分析应用 . 30 3.4.6. 大数据分析的革命性方法出现 . 31 3.4.7. 大数据与云计算 :深度融合 . 31 3.4.8. 大数据一体机陆续发布 . 31 4. 基于基站大数据应用及案例 . 32 4.1. 气象灾害应急短信发布平台 . 3

5、2 4.1.1. 概述 . 32 4.1.1.1. 项目背景 . 32 4.1.1.2. 平台概述 . 32 4.1.2. 平台建设特点与原则 . 32 4.1.2.1. 建设特点 . 32 4.1.2.2. 建设原则 . 32 4.1.2.3. 大数据管理平台特点 . 33 4.1.3. 平台整体架 构 . 33 4.1.3.1. 建设原理 . 33 4.1.3.2. 平台总体设计 . 35 1. 平台总体结构 . 35 2. 平台技术架构 .错误 !未定义书签。 4.1.3.3. 平台技术思路 . 36 4.1.3.4. 平台技术路线 . 错误 !未定义书签。 1. 内存数据库 .错误 !

6、未定义书签。 2. 短信发送多链路配置 .错误 !未定义书签。 3. 队列缓存 .错误 !未定义书签。 4. 参 数可配置 .错误 !未定义书签。 4.1.3.5. 平台性能要求 . 错误 !未定义书签。 4.1.4. 平台网络拓扑 . 错误 !未定义书签。 4.1.5. 平台关键流程 . 错误 !未定义书签。 4.1.5.1. 平台数据流程 . 错误 !未定义书签。 4.1.5.2. 平台业务主流程 . 错误 !未定义书签。 4.1.5.3. 短信下发审批流程 . 错误 !未定义书签。 4.1.5.4. 信令分析处理流程 . 错误 !未定义书签。 4.1.5.5. 短信发送流程 . 错误 !

7、未定义书签。 4.1.6. 平台功能模块 . 错误 !未定义书签。 4 / 38 4.1.6.1. 信令分析子系统 . 错误 !未定义书签。 4.1.6.2. 短信发送子系统 . 错误 !未定义书签。 1. 短信发送功能 .错误 !未定义书签。 2. 短信回执接收功能 .错误 !未定义书签。 3. 短信批量发送管理功能 .错误 !未定义书签。 4. 统计报表 .错误 !未定义书签。 4.1.6.3. 管理子系统 . 错误 !未定义书签。 1. 用户管理 .错误 !未定义书签。 2. 权限管理 .错误 !未定义书签。 3. 实时监控 .错误 !未定义书签。 4. 日志管理 .错误 !未定义书签。

8、 5. 基站位置信息管理 .错误 !未定义书签。 6. 系统参数配置管理 .错误 !未定义书签。 4.1.6.4. 内容数据库子系统 . 错误 !未定义书签。 4.1.7. 平台外部接口 . 错误 !未定义书签。 4.1.7.1. 信令采集接口 . 错误 !未定义书签。 1. 接口说明 .错误 !未定义书签。 2. 数据采集模式 .错误 !未定义书签。 4.1.7.2. 短信发送接口 . 错误 !未定义书签。 1. 短信发送通知接口 .错误 !未定义书签。 2. 短信发送状态查询接口 .错误 !未定义书签。 3. 短信发送接口 .错误 !未定义书签。 4.1.7.3. 基站位置信息接口 . 错

9、误 !未定义书签。 1. 数据同步模式 .错误 !未定义书签。 2. 基站位置信息全量同步接口 .错误 !未定义书签。 3. 基站位置信息增量同步接口 .错误 !未定义书签。 4.2. 旅游客源分析 . 36 4.2.1. 建设目标 . 错误 !未定义书签。 4.2.2. 整体方案 . 36 4.2.2.1. 方案思路 . 36 4.2.2.2. 分析范围 . 错误 !未定义书签。 4.2.2.3. 方案特点 . 错误 !未定义书签。 4.2.3. 方案设计 . 错误 !未定义书签。 4.2.3.1. 系统关系 . 错误 !未定义书签。 4.2.3.2. 系统架构 . 37 1. 数据分析后台

10、能力 .错误 !未定义书签。 2. Web 前台能力 .错误 !未定义书签。 4.2.3.3. 数据采集 . 错误 !未定义书签。 4.2.3.4. 业务分析 . 错误 !未定义书签。 1. 总体分析流程 .错误 !未定义书签。 2. 景区综合流量统计分析 .错误 !未定义书签。 3. 景区游客来源地构成分析 .错误 !未定义书签。 5 / 38 4. 景区全网总游客实时估算 .错误 !未定义书签。 5. 景区流量预判模型分析 .错误 !未定义书签。 6. 景区流量上限告警 .错误 !未定义书签。 7. 旅游景点热度排名分析 .错误 !未定义书签。 8. 旅游线路归类统计 .错误 !未定义书签

11、。 9. 景区与相关场所关联分析 .错误 !未定义书签。 4.2.3.5. 界面功能介绍 . 错误 !未定义书签。 1. 菜单功能列表 .错误 !未定义书签。 2. 界面辅助功能介绍 .错误 !未定义书签。 3. 运营部门应用 Portal .错误 !未定义书签。 4. 用户权限 .错误 !未定义书签。 6 / 38 1. 大数据概述 1.1. 概述 大数据， IT行业的又一次技术变革，大数据的浪潮汹涌而至，对国家治理、企业决策和个人生活都在产生深远的影响，并将成为云计算、物联网之后信息技术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟，移动

12、带宽迅速提升、云计算、物联网应用更加丰富、更多的传感设备、移动终端接入到网络，由此而产生的数据及增长速度将比历史上的任何时期都要多、都要快。 数据技术发展历史如图一所示： 图一 1.2. 大数据定义 “ 大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 IBM 将“大数据”理念定义为 4 个 V，即大量化 (Volume)、多样化 (Variety)、快速化 (Velocity)及由此产生的价值 (Value)。如图二 ; 7 / 38 图二 要理解大数据这一概念，首先要从 大 入手， 大 是指数据规模，大数据一般指在 10

13、TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用 4个 V来总结 (Vol-ume、 Variety、 Value和 Veloc-ity)，即体量大、多样性、价值密度低、速度快。 数据体量巨大 。从 TB级别，跃升到 PB级别。 数据类型繁多 ，如前文提到的网络日志、视频、图片、地理位置信息，等等。 价值密度低 。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。 处理速度快 。 1 秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC 以及遍布地球各个角落的各种各样的传感器

14、，无一不是数据来源或者承载的方式。 大数据技术是指从各种各样类型的巨量数据中，快速获得有价 值信息的技术。解决大数据问题的核心是大数据技术。目前所说的 大数据 不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。 8 / 38 1.3. 大数据技术发展 大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取

15、价值，而且未来急剧增长的数 据迫切需要寻求新的处理技术手段。如图三所示： 图三 在“大数据” (Big data)时代，通过互联网、社交网络、物联网，人们能够及时全面地获得大信息。同时，信息自身存在形式的变化与演进，也使得作为信息载体的数据以远超人们想象的速度迅速膨胀。 云时代的到来使得数据创造的主体由企业逐渐转向个体，而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。信息化技术的普及使得企业更多的办公流程通过网络得以实现，由此产生的数据也以非结构化数据为主。预计到 2012 年，非结构化数据将达到互联网整个数据量的 75%以上 。用于提取智慧的“大数据”，往往是这些非结构化数据。传

16、统的数据仓库系统、 BI、链路挖掘等应用对数据处理的时间要求往往以小时或天为单位。但“大数据”应用突出强调数据处理的实时性。在线个性化推荐、股票交易处理、实时路况信息等数据处理时间要求在分钟甚至秒级。 全球技术研究和咨询公司 Gartner将“大数据”技术列入 2012 年对众多公司和组织机构具有战略意义的十大技术与趋势之一，而其他领域的研究，如云计 9 / 38 算、下一代分析、内存计算等也都与“大数据”的研究相辅相成。 Gartner 在其新兴技术成熟度曲线中将“大数据”技术视 为转型技术，这意味着“大数据”技术将在未来 3 5年内进入主流。 而 “大数据”的多样性决定了数据采集来源的复杂性，从智能传感器到社交网络数据，从声音图片到在线交易数据，可能性是无穷无尽的。选择正确的数据来源并进行交叉分析可以为企业创造最显著的利益。随着数据源的爆发式增长，数据的多样性成为“大数据”应用亟待解决的问题。例如如何实时地及通过各种数据库管理系统来安全地访问数据，如何通过优化存储策略，评估当前的数据存储技术并改进、加强数据存储能力