《大数据产品架构及应用服务解决方案.pptx》由会员分享，可在线阅读，更多相关《大数据产品架构及应用服务解决方案.pptx（58页珍藏版）》请在悟道方案上搜索。
1、大数据产品架构及应用服务解决方案,大数据产品架构,SDC ETL 大数据采集平台,建立大数据的数据之源,产品定位及产品特色,复杂异构数据源,实时性传输,兼容大数据技术栈,多人协作开发,核心特色,产品定位,SDC 融合数据ETL 以元数据智能驱动，通过流程设计器快速构建数据处理模型，完成数据库、半结构化、非结构化数据之间的ETL工作，支持多人协作，大大节约了开发周期以及开发难度。提供强大的调度能力，使得相关部门全面地了解数据处理模型的运行情况，有助于迅速定位和排除故障。提供高可用集群管理以及HA能力，使得数据处理过程高效稳定。,高效稳定,操作智能便捷,产品介绍（设计界面）,产品介绍（调度页面）,
2、SDC Hadoop 大数据存储计算平台,构造大数据运行基石,产品架构,SDC 企业级一站式大数据基础平台,大数据领域 - 存储计算为核心的基础平台,组件融合,Hadoop+Spark生态组件融合； MPP+Hadoop混合框架； 国内组件支持最多，最丰富。,统一存储,数据收集及整合萃取能力 横向扩展能力 数据备份、安全存储能力 数据按策略存储能力,全文检索,基于数据的检索 对结构化、半结构化、非结构化数据的全类型检索支持 支持按类型分类呈现检索结果，在线播放音视频文件。,交互式分析,批量数据非实时分析能力 秒级实时交互分析能力 实时数据查询能力,实时流计算,亚秒级，低延时的实时流处理 高可用
3、的、基于内存计算的流计算引擎 性能业界领先,运维管理,一键式安装 可视化运维监控 按需部署 简单易用 全生态安全加固,产品功能-运维管理子系统,产品功能-日志分析子系统,产品功能-设备可视化监控,SDC平台技术创新-命令解析工具,产品测试,通过了权威机构性能评测,2017年6月，XXSDC大数据基础平台参加了中国信息通信研究院大数据性能评测，取得了以下成绩： 比规定测试时间提前2天跑出性能结果。 与其它参评的企业相比，数据查询性能处于行业第一梯队。,性能评测场景,30T数据情况下测试： 场景1：复杂SQL语句查询。 在30T数据情况5条不同SQL语句5次查询， 分别执行时间为：202.7s ,
4、258.0s, 50.8s,132.7s,53.1s. 最好执行速度为：1.7s/T 最坏情况：6.7s/T 场景2：简单SQL语句查询。 在30T数据情况5条不同SQL语句5次查询， 分别执行时间为：52.9s ,34.9s, 66.3s,92.5s,79.8s. 最好执行速度为：1.1s/T 最坏情况：3s/T,国家XX云项目案例,项目背景,难点,原数据的种类多样，大小不同，大数据平台存储方式不同，对后续用户检索效率有影响，需要按类型，大小存储到不同的组件，提升检索效率。,解决思路,1.大文件存放HDFS，建立索引，将索引存入关系型数据库，小文件直接放入NoSQL数据库。 2.
5、提前配置好分类存储策略，自动分类存储： Size100M && Video 存储#001， 10M Size = 100M && Video | Voice | Picture 存储#002， 0M Size =10M&& Video | Voice | Picture 存储#003,可视化效果,快速检索，性能高效,可视化，资源使用情况查看,500T 数据,检索速度 平均小于5s,可视化管理,20+ 节点,自动部署能力,海量数据智能分发存储,集群节点自动伸缩能力,业务访问负载均衡能力,SDC Govern 数据治理平台,大数据治理提升数据管控能力
6、,产品定位,智能 高效 数据驱动价值,XX数据治理 平台以元数据智能驱动，由数据标准、数据质量、数据服务等端到端的一站式数据服务管理平台，提供统一的用户管理、数据源管理、建模设计、任务管理、数据权限等基础模块，面向 “政务、教育、交通、政法、电力、能源、健康、金融”八大重点领域，实现快速、自动、稳定、持续的数据质量提升，保证信息的可用性、一致性及安全性，确保及时、准确的数据支持和服务，加快数据开发人员、数据实施人员、数据分析人员等针对数据采集、数据架构、数据质量、主数据等数据管理项目的开发和部署速度。,数据质量报告,数据资产地图,数据资产目录,XX优势,数据治理产品
7、一般分为两类：一类是单个工具构成，另一类是集成平台，XX基于元数据智能驱动集成平台的设计思路构建大数据治理平台，极大提高了平台的易用性和降低了用户成本。,公司5名数据治理专家参与国内首个数据资产实践管理白皮书编写 参与工信部牵头起草数据管理平台技术要求测试方法标准制定 数据管理软件第一名,以治理产品为基础的“铁三角“运行机制； 提供咨询规划、项目实施和标准产品服务；,项目案例,截止2017年12月，已完成40多个数据治理项目的实施,国家邮政总局,SDC Miner 人工智能平台,大数据知识挖掘的核心引擎,产品定位,来源于 Volker Markl. Breaking the chains: O
8、n declarative data analysis and data independence in the big data era.,Matlab,IBM SPSS,R,Excel,Tableau,Hadoop,Spark,SDC Miner,机器学习 + 大数据处理 + 一站式平台,目前还缺少既具有复杂数据分析能力，又具有强大的大数据处理能力的机器学习系统 对于行业大数据分析人员而言，现有的工具还处于“石器时代”,Apache Flink大数据分析系统研究者从数据分析复杂度和数据规模大小的维度，考察了现有的相关研究工作和系统：,产品特色,一站式,高性能,算法丰富,可视化,安全可靠,兼
9、容开放,易集成,成熟稳定,一站式大数据机器学习平台，降低使用门槛 为不同用户提供多种建模方式,支持分布式计算处理海量数据 支持内存迭代计算和GPU计算,涵盖统计分析、特征工程、文本分析、机器学习、深度学习等类别 共计140余个算法,平台提供多种可视化组件，包括报表、图表、三维数据可视化,提供数据权限、用户权限、模型权限、服务接口权限等多种安全管控功能,平台支持Java、Python、R三种语言自定义算法 支持多种算法混合执行,平台以web服务、表进行对外数据交换和系统集成 易于集成、无入侵性,已获10项专利、多个权威机构认证测试（中国信通院等） 已为数十个客户提供产品和服务,产品页面,工商人工
10、智能应用,项目概述,紧扣“放管结合、宽进严管、优化服务”的改革目标要求。利用大数据人工智能技术，完善“监管支撑”和“公共服务”两套体系，形成结构科学、弹性扩展，高度集约、强力保障的工商大数据服务监管平台。,可视化效果展现,企业商群分析,企业多维画像,消保维权,企业信用监管,法院人工智能应用,项目概述,1.全案特征识别,2.法官审判质效分析,3.法官工作荷分析,4.审判业绩分析,人工智能有效解决统一裁判标准、推进司法公正。构筑司法智库，能有效促进审判体系和审判能力的建设。,可视化效果展现,检验检疫人工智能应用,项目概述,根据业务历史数据建立预测模型对进口商品的合格率进行预测,过程复杂,定位、开箱
11、、抽查、检验、封箱,数量巨大,效率低下,大多数的产品是合格的，对合格概率高的进口产品进行监测，导致工作效率低下,种类繁多,商品种类繁多每批次几十种,准确率不达标,人工抽查的实际准确率只能达到60%左右,可视化效果展现,科学实现企业信用评分定级 完善现有质量信用评估体系,较好量化信用监管决策 为提高出口商品监管效率提供重要参考,优势分析,45,D,评分等级：D（高度风险）,评分结论：信用极差,出口商品企业质量信用评估,熵权法质量信用评估指标体系,信用评估指标,中文名,不合格件数,企业代码,包装件数合格率,企业名称,货物总值(美元),企业类型,不合格金额(美元),企业性质,出口金额合格率,检验方式
12、,出口批次,黑名单标志,出口不合格批次,封号标志,出口批次合格率,备案标志,二次检验次数,是否通过ISO9000,二次检验率,SDC UE 大数据可视化平台,支撑大数据丰富的可视化呈现,SDC UE 可视化平台优势是什么？,SDC UE 可视化平台介绍,交互式WEB页面,Dashboard 仪表盘/驾驶舱,高级数据可视,自助式分析,可视化大屏,SDC UE 可视化平台解决客户哪些问题？,智慧城市运营管理中心,SDC ME 大数据多维可视化平台,支撑大数据丰富的可视化呈现,产品功能,管理驾驶舱 数据驾驶舱基于行业决策需求，通过详尽的指标体系，实时反映行业的运行状态，将采集的数据形象化、直观化、具
13、体化。,数据可视 数据分析用来将企业中现有的数据进行有效的整合，快速准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策。,大屏展示 提供共享信息、决策支持、态势显示技术；涉及多种信息接收处理显示、多类人员操作控制、部门管理协调等需求实现,数字沙盘 数字沙盘能够兼容所有类型的三维空间数据，将这些空间数据放入数据沙盘进行立体展示，并提供三维互动操作、数据标注、数据轨迹、实时告警、数据趋势演进等功能构成数据沙盘可视化技术。,自动化智能数据建模技术 传统的数据建模方式，根据模型需求的多寡，往往需要投入大量的专业IT人员手动编辑SQL语句完成模型构建。ME产品从用户易用性出发，运用先进的AI技
14、术对数据进行智能建模，减少用户对于SQL语句的依赖.,SDC ME 多维可视化产品优势是什么？,智能,高自由度数据编排技术 高自由度数据编排技术可对不同种类的业务数据进行自定义拖拉拽操作布局，对每一个维度、每一项指标、每一张报表、每一个组件、每一组场景都可进行随心所欲的快速编排，配合自动化智能数据建模技术充分体现数据的灵活性，让数据在多维的视觉下更为生动，准确，直观，真实，远远超越TABLEAU等同类产品数据呈现效果；,开放,自助式数据分析技术 自助式数据分析技术结合智能数据建模、数据编排、可视化交互技术，实现图形化情报信息查询、可视化关联分析、证据链和情报线索发掘等功能。该技术旨在利用人的洞
15、察把人的思想与计算机的运算能力结合起来，通过直观的多维可视、交互手段，帮助人捕捉到事物之间的关联线索。,灵活,跨平台数据同步分享技术 &组件式数据交互技术 ME旨在帮助使用者在任何时间、任何地点、通过任何移动通讯设备处理与业务相关的任何事情。这种全新的数据分享交互模式，可以让使用者摆脱时间和空间的束缚。数据信息可以随时随地通畅地进行交互流动，工作将更加轻松有效，整体运作更加协调。有助使用者提高管理效率，推动效益增长。,共享,SDC ME 多维可视化产品解决客户哪些问题？,智慧城市运营管理中心,智慧城管,SDC BE 商业洞察平台,支撑大数据丰富的多维分析报表,SDC BE 商业智能是什
16、么？,BE是一套面向大数据时代以及人工智能时代的BI工具！,SDC BE 商业智能产品优势是什么？,SDC BE 商业智能产品介绍数据预处理,SDC BE 商业智能产品介绍数据分析,SDC BE 商业智能产品介绍可视化编辑,SDC BE 商业智能产品解决客户哪些问题？,制造行业案例,3 M,3M公司,客户痛点： 已有BI工具灵活性有限，不能满足项目和产品利润分析的要求 已有平台复杂度高，缺乏专业的IT人员，无法及时响应业务需求 解决方案： 实时某业界领先BI产品，为全业务员工不是一套系统 整合公司数据仓库、零散业务库、文件数据到统一的数据库中 使用BI进行全球范围内的跨业务数据分析,美国著名制造公司，拥有多种领先技术，在个人办公，医疗，电子，图像显示灯领域占有重要份额，员工人员69000，营销收入：229亿美元,实施收益,经营数据的分析时间降低了75%，快速响应市场变化 管理层能够直观看到项目绩效，及时提高团队的效率的业务能力 公司存货水平得到有效控制，与实际销售量基本一致,谢谢！,