《大数据应用及技术架构解决方案.pptx》由会员分享,可在线阅读,更多相关《大数据应用及技术架构解决方案.pptx(69页珍藏版)》请在悟道方案上搜索。
1、,大数据应用及技术架构解决方案,1,大数据产品介绍,1,教育大数据解决方案,2,目录,交通大数据解决方案,3,政府大数据解决方案,4,医疗大数据解决方案,5,3,大数据产品介绍,PRODUCT FEATURES,数据产品架构,4,数据源,基础产品,解决方案,公安,交通,教育,医疗,政府,电力,工业4.0,运营商,银河数据平台,数据可视化,ETL数据采集,非结构化数据,实时数据采集,数据采集系统,数据质量监控系统,可编程API,大数据资源管理系统,数仓建模系统,工作流调度系统,业务分析建模,算法模型库,图形化报表,ETL工具,运维管理,可视化的 集群管理,多样的 部署方式,多维度的 监控,信息系
2、统,ERP,CRM,SCM,机器日志,音视频,物联网,社交媒体,非结构数据,大数据基础产品,5,基础产品,6,以大数据技术(Hadoop、Spark)为底层架构,集合大数据全部技术模块,运算速度是传统数据处理的1000倍。银河超算从数据采集、存储、计算、调度、高级搜索等核心功能,并基于云计算科学管理数据,保证数据的安全性和稳定性,同时针对实时计算业务应用特别调优,追求极致的运算速度,为大规模数据的管理和计算而生。,非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信
3、息等等。 除银河超算数据平台的非结构数据采集工具外,还针对机器日志数据专门设计,将结构或非结构数据转换成适当的可视化图表,然后将隐藏在数据中的信息直接展现于人们面前,在可视化图表工具的表现形式方面,图表类型表现的更加多样化,丰富化。 数据可视化系统底层与银河超算数据平台对接,上层与业务模型算法对接,通过托拉拽的形式轻松完成数据可视化,基础产品大数据共享平台,7,银河超算数据共享平台价值在于帮助客户建设数据中心,实现业务系统与数据中心对接,促进数据融通共享,为状态数据的实时采集与动态分析提供保障,解决数据孤岛问题,为数据分析、维护提供最佳基础; 以大数据技术(Hadoop、Spark)为底层架构
4、,集合大数据全部技术模块,运算速度是传统数据处理的1000倍。银河超算从数据采集、存储、计算、调度、高级搜索等核心功能,并基于云计算科学管理数据,保证数据的安全性和稳定性,同时针对实时计算业务应用特别调优,追求极致的运算速度,为大规模数据的管理和计算而生。,基础产品非结构数据采集,9,非结构化数据采集是将不规则或不完整,没有预定义模型的数据进行采集并清洗翻译,。包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。 除银河超算数据平台的非结构数据采集工具外,还针对机器日志数据专门设计了日志采集工具,使机器数据更加方便的管理,基础产品非结构数据采集,合规性要
5、求 满足网络安全法的合规性要求,实现网络日志采集、存储、管理、检索 日志作为数据资产 将日志数据作为数据资产进行管理,为数据综合开发进行数据储备 日志分析展示 直接利用分析展示功能,进行对日志分析、处理、可视化展现 日志预处理 将日志工具作为日志的预处理工具, 为其他应用程序提供数据支持。,10,基础产品数据可视化,11,交通行业解决方案,TRANSPORTATION INDUSTRY SOLUTIONS,12,【解决方案】交通大数据河北高速公路,13,该项目是国内高速公路交通领域首个大数据平台应用。项目以推进“互联网+”在高速公路运营管理和公众出行服务中的运用为目标,结合河北高速本地信息化建
6、设现状及实际用户需求,制定项目策略规划,并实现了路况、微波车检、 ETC、设备状态、MTC、气象等多源异构海量数据的抽取整合管理及基于Hadoop的存储计算,彻底打破了河北高速各类数据的信息孤岛现象。 平台还实现了路况数据、收费数据、气象等数据间多维度关联分析和挖掘应用,为保障路网运行和决策调度提供多层次实时、有力的数据支撑。,【解决方案】交通大数据车辆特征识别系统,14,基于车辆品牌的落脚点分析、首次入城、同行车辆分析、频繁过车、套牌车辆筛选、行车轨迹重 现、包围圈查询等经过实战检验的公安实战功能。,交通大数据车辆特征识别系统,15,数据架构图,车辆特征识别系统,以图搜车,快速检索 对于有明
7、显特征的嫌疑车辆,比如年检标志、纸盒、吊坠挂件、碰撞标记等进行以图搜车。 系统特点: 图像特征预提取、结构化识别。 支持多区域特征复合搜索。 支持相似度、车型、车牌号、车身颜色检 索排序。,16,车辆特征识别系统,17,夜间车辆特征识别 以图搜车系统针对夜间车辆图片的特点,设计了独特的夜间车辆图片识别算法,通过对夜间各种 光照条件下的卡口图片特征进行机器学习,构建夜间车辆特征模型。保证夜间车辆识别具有极强的鲁 棒性(抗干扰性)和适应性。,车辆特征识别系统,面部遮挡检测 系统自动检测车辆驾驶员放下遮阳板或者遮挡面部的异常行为, 特别是夜间放下遮阳板的车辆是作案重点排查对象。,18,车辆特征识别系
8、统,不系安全带自动检测 不系安全带检测系统,利用机器深度学习的算法,通过对卡口图片的多种特征进行分析, 全自动检测驾驶员是否佩戴安全带,19,解决方案: 检测速度快,可支持海量卡口图片 分析,普通服务器每天可处理50万张左 右的高清图片 自动过滤有争议图片,降低人工复 审核成本。系统准确率高,大于90% 违章图片数据实时推送给交警违章 处罚平台可处罚,基于PGIS(公安警用地图)的可视化展示,20,丰富的图上作业: 卡口点位可视化展示 、车辆行驶轨迹重现和播放 、卡口点位地图选择、地图测距等功能,立体化防控体系 人车轨迹关联,21,政府行业解决方案,GOVERNMENT INDUSTRY SO
9、LUTIONS,22,政务大数据应用领域,23,政务大数据平台总体架构,24,【解决方案】精准扶贫,25,紧紧依托识别对象、帮扶措施、项目安排、资金管理、退出机制、干部选 派、管理监督、考核评价、督促检查 “九个精准”为核心判断依据来建设 运行精准扶贫监管平台。,对象识别精准化,扶贫资金公开化,扶贫数据融合化,扶贫主体明确化,扶贫部门协作化,扶贫项目责任化,对象 监管,项目 监管,绩效监管,【解决方案】公共资源交易分析,实现对依法必须招标的项目进行统计分析研究,为行政监督部门提供数据统计分析服务 实现对招标项目、标段信息、中标单位、中标金额、中标项目经理(总监)等数据进行统计。 实现对招标人、
10、招标代理、投标人、社会公众、各类接入平台等注册使用情况进行统计,26,【解决方案】信用大数据,27,【解决方案】社区网格化管理,28,【解决方案】纳税人全景画像,29,纳税人画像是借鉴用户画像的概念,基于大数据技术,通过数据特征工程对纳税人进行全方位描述,通过标签体系加以呈现,抽 象出一个纳税人的信息全貌。,【案例展示】鄂尔多斯国税局可视化展示,30,【案例展示】广州地税政务数据项目,31,【案例展示】广东省网上办事大厅数据监测系统,32,【案例展示】河南省政务数据共享交换平台,33,【案例展示】贵州省信用大数据分析,34,教育行业解决方案,EDUCATION INDUSTRY SOLUTIO
11、NS,35,校园综合情况分析产品,观星台校园综合情况分析平台 基于教育大数据的专业解决方案, 产品从高校所关注的重要指标为主线,包括招生、教学、舆情、信息化、网络安全、学生安全、科研成果、一卡通、图书馆等方面建立分析模型。 与高校共同建立业务模型,共同挖掘数据价值,辅助校领导进行管理决策。,36,校园信息化发展趋势,37,第一阶段,第二阶段,第三阶段,高校数据痛点,38,数据管理 无标准,多业务系统数据分散不可见,无法预判 无法辅助决策,专业大数据 人才匮乏,无法监控 业务过程,非结构化数据无法挖掘价值,高校潜在大数据,39,校园业务系统 结构化为主,部分非结构化,互联网数据 非结构化为主,机
12、器数据 非结构化为主,数据来源,教务系统,招生就业,学工系统,资产,一卡通,监控,图书馆,微博,QQ,微信,贴吧,新闻,监控,WiFi路由,门禁,一卡通,机器设备,大数据是信息化技术的延伸,40,现实业务,业务系统,业务数据,传统信息系统体系,业务自动化,数据沉淀,无法完成的任务: 校园信息全貌无法集中展现 多维度业务数据无法联合分析 对学生状态的感知不即时 数据管理难度大不标准,现实校园,大数据,分析平台,大数据系统体系,数据建模,智能,智能特征的补充,为高校新的管理理念提供技术的可行性依据: 被动向主动转化; 管理向运营及服务型的转化;,大数据是信息化技术的延伸,产品架构,41,大数据技术
13、模块,一卡通,业务系统数据,机器数据,Web日志,无线认证日志,车流量,监控,互联网数据,教务,学工,图书馆,学籍,科研,视频,新闻,微博,贴吧,论坛,DPI数据,领导驾驶舱,决策辅助,综合校情,评教,舆情,招生综合分析,学生人口分析,学生行为分析,学生画像,绩点成绩分析,教师人口分析,教学质量分析,教学压力分析,科研成果分析,毕业生预警,安全失联预警,就业综合分析,口碑舆情监控,图书馆分析,一卡通分析,网络行为监控,监控图像识别,数据管理集群,产品亮点,42,学生安全,教学质量,招生质量,校风声誉,就业质量,用户画像,高校在社会口碑 外界负面评价 突发事件传播,招生计划完成度 招生策略制定
14、新老专业认可度,心理异常预警 失联预警 恶劣学生行为,学业预警 院系专业教学评估 毕业学位通过率,毕业去向统计 就业行业情况 专业对口情况,学生画像 教师画像 贫困生画像,观星台亮点价值,学业预警: 通过历史成绩、借书情况、上网情况、早餐次数、惩罚记录等信息进行深度挖 掘分析,实时呈现校园完成学业存在风险的人群。 及时识别、及早干预,帮助学生回到正确的轨道上来。,43,沉迷游戏预警: 通过上网时长、上网应用、上网时间段、学习成绩、就餐规律、宿舍门禁记录等信 息进行深度挖掘分析,实时呈现校园沉迷游戏的人群。 及时识别、及早干预,帮助学生迷途知返,顺利完成学业。,疑似贫困人群: 通过月均消费金额、
15、每餐消费金额和超市购物等信息进行深度挖掘分析,识别 真正的贫困生,甄别伪贫困生。 实现精准扶贫,实现资源的公平分配。,观星台亮点价值,44,孤僻人群预警: 通过消费记录、借书记录、门禁记录、上网时间段、社交媒体发帖等信息进行 大数据深度分析和挖掘,识别出校园孤僻人群。 及时预警、及时进行心理疏导,避免引起校园悲剧。,疑似失联预警: 通过消费记录、校园网登录记录、宿舍门禁记录、学校大门出入记录等信息进 行深度挖掘分析,实时呈现校园疑似失联的人群。 及时预警、尽早采取措施,消除安全隐患。,疑似裸贷人群: 通过异常消费记录、异常行动轨迹、异常门禁记录、异常上网记录、异常社交 媒体言论等信息进行深度挖
16、掘分析,识别校园疑似裸贷人群。 尽早采取措施偿还贷款,消除人身安全威胁,避免走上不,招生综合情况分析,COMPREHENSIVE ANALYSIS OF ENROLLMENT,学生综合情况分析,COMPREHENSIVE ANALYSIS OF STUDENTS,学生人口数据分析,通过对学生学籍、来源地、性别、人数等人口信息统计相关数据进行分析,了解全校学生概貌,成绩综合情况分析,针对学生绩点成绩和及格率以及其他毕业和学士学位相关成绩进行分析,毕业生预警,通过学生成绩分析对即将毕业但不符合毕业标准的学生进行预警,辅助辅导员采取措施。,学生画像/类型标签,根据业务建立学生的用户画像,通过分析学生
17、的行为数据可以给每个学生进行定性标签。,就业综合情况分析,COMPREHENSIVE ANALYSIS OF EMPLOYMENT,就业单位分析,就业率趋势分析,毕业去向分析,就业薪酬分析,能够分析学生就业单位类型、以及单位所处行业领域,可分析得出专业对口企业,以及与高校匹配度高的企业,通过分析就业率的发展趋势来判断高校教学质量的具体成绩,从而调整教学方式和内容。,了解毕业学生的去向,包括就业、创业、待业、读研等方面,以及IT类职位或非IT类职位等方面。,就业全球分布,通过全球地图,查看高校毕业学生就业企业分布情况,了解人才走向并挖掘。,了解就业学生的薪酬福利,分析可得出不同专业毕业后的薪酬待
18、遇情况。,专业对口程度,专业课程内容与企业需求度的匹配对口程度,通过分析数据和结果报告来调整专业课程内容,已达到培养合适市场的人才,教师综合情况分析,COMPREHENSIVE ANALYSIS OF TEACHERS,教师队伍的整体水平是高校教育质量的保障,通过业务数据对不同职称的教师进行分析,可以帮助教师人才引进、教师工作压力饱和度、教学质量评估、科研项目成果等方面进行观察,直接找到提升或预防依据。 根据数据建模设计教师画像,可以对教师进行类型细分,更容易定位,找到每个老师擅长的业务内容。 教师数据档案,使教师基本信息、所授课程、教学质量、科研成果、工作强度级别、业务类型一目了然,尽收眼底
19、。,教师人口分析,人数,学历,性别,教学质量评估,深度算法模型,职称,专业,教龄,关联学生成绩,科研项目成果,热点课题产出,师生比分析,学生满意度,工作压力负荷度,教师数据档案,出勤情况,毕业校,合同期,业务类型画像,工作活跃度,口碑声誉舆情监控,互联网的广泛应用令信息高速传播的同时也导致了高校舆情事故的频发,高校如何进行网络监控和对重大事件预警、如何面对危机中的网络舆论、如何合理利用媒体正确引导舆论,扭转被动局面,维护校园安全稳定,正是令高校无从下手的顽疾。观星台的口碑声誉舆情监控让学校维护良好的形象势在必行。 通过爬虫引擎抓取互联网数据,并与预设预警主题关键词进行对比分析,实时监控互联网舆
20、情信息,针对校园敏感事件做出及时预测并提供预警报告,有效辅助领导决策,大幅度缩小高校敏感舆论事件的传播范围。,WORD OF MOUTH REPUTATION PUBLIC OPINION MONITORING,信息爬取,信息拆解,自定义分类,持久化存储,预警机制,报告定制,设置监测时间,信息呈现,舆情信息呈现,邮件提醒,短信提醒,平台提醒,科研成果热点追踪,HOT PURSUIT OF SCIENTIFIC RESEARCH,研究热点爬取,语义化分析,热点追踪,持久化存储,对本校科研数据进行分析,可清楚的得知每个科研项目的成果、企业贡献、科研投入产出等结构。 通过对中国知网、万方数据等主流学
21、术型网站内容爬取,并进行语义分析,可及时了解当下科研热点,从而指导本校科研组的课题方向,紧贴科研领域趋势,保持前沿的科技成果。,当下最热的研究方向,研究课题是否前沿,科研成果有哪些,哪些企业对科研有贡献,科研投入是否科学,学生行为追踪分析,STUDENT BEHAVIOR TRACKING ANALYSIS,停留1次 9:00-9:10,停留1次 9:20-10:30,停留1次 10:40-12:40,停留2次 13:40-14:40 16:00-17:40,最后一次到达 18:00,王思洋,计算机学院,140256644,9:00 宿舍 下线,9:20 第二食堂 上线,10:00 第二食堂
22、下线,10:20 教学楼12 上线,11:40 教学楼12 下线,上一页,下一页,应用场景:高危险学生监控,HIGH RISK STUDENT MONITORING,上网访问记录,一卡通消费记录,行为轨迹追踪,学习成绩追踪,师生关系监控,学习成绩较差,夜不归宿,无故旷课,辅导员评价低,室友不满,高危学生模型画像,行为数据监控,记过处分记录,学生关系监控,高危险学生名单,达到高度预警级别,微信,短信,邮件,应用场景:学生心理问题预警,EARLY WARNING OF STUDENTS PSYCHOLOGICAL PROBLEMS,图书馆,一卡通,数据平台,上网行为,学生,上网记录突增,有沉迷网络
23、游戏的趋势,图书馆借阅大量言情小说,上课出勤记录不佳,常有迟到、旷课,吃饭时间不规律,预警级别:高,预警级别:普通,预警级别:低,失恋感情问题 沉迷网络游戏 学习问题 性格与情绪问题 人际关系问题 ,心理老师,辅导老师通过对其学习和心理状况进行干预和引导,将问题解决在萌芽状态,程度分级,预警,应用场景:科学建设专业学科,SCIENTIFIC CONSTRUCTION DISCIPLINE,学科建设计划,学科专业方向,教学方案规划,通过观星台多个模块辅助决策新专业的建立和传统专业的改革等优化工作,招生效果评估,教学质量评估,就业质量评估,招生策略,教学内容设置,就业安排,优化学科建设工作,专业认
24、可度,宣传效果追踪,历年趋势分析,生源地分析,生源地排名,招生策略建议,及格率分析,绩点成绩分析,历年趋势分析,学生主动性,科研成果分析,毕业生分析,专业对口度,毕业去向分析,就业地区分析,就业单位分析,就业薪资水平,就业趋势变化,学生预警,实时识别有学业危机的学生,55,疑似失联预警,实时识别失联学生,56,服务于教师管理,教师画像: 通过全面分析一名教师的教学情况、科研情况、阅读习惯、消费习惯、上网习 惯等情况,从而从多个维度为老师贴上标签,勾勒出教师的的个人综合画像。 可以用于教师工作量评估、教师潜力评估、教师绩效评价的重要参考依据。 教学质量评估: 根据学校积累的教学成绩、选课情况、学
25、生评价、学院评价等因素综合交叉 分析,梳理教学任务与教学质量的关联,对教师的教学质量给出定量评价。 可发掘有潜力的优质教师,作为教师开课、学生选课的依据。,57,服务于业务决策,学生就业分析: 通过对过去多年的就业率、薪酬、行业、城市、生源地、动态等因素与学院、 专业、学历、性别等维度进行深度交叉分析,全面呈现学生就业状况。 可以为优秀的生源提供专业方向选择指导意见,为毕业生做好就业指导工作, 为学校的专业调整、定向师资引进提供详尽的数据支撑 电子图书资源利用分析: 通过详细分析电子资源的点击率、下载率、热门搜索关键词、重点学科或实 验室、重要科研项目等信息进行大数据分析和历史数据的深度学习,
26、挖掘师 生对电子资源的需求。 有效梳理师生的需求,为电子资源采购提供详尽的数据支撑。,58,服务于毕业生,学生画像(移动版): 全面回顾学生本人在大学期间的学习成绩、社会实践、图 书馆阅读、生活轨迹、消费记录、上网行为等各方面的情况,以时光轴的形式、 充满感伤的文字呈现出来。 作为毕业生大学期间学习生活的一种总结,讲述的是大学 校园流逝的光阴故事,表达的是对母校依依不舍的珍贵情怀。,59,医疗行业解决方案,HEALTHCARE INDUSTRY SOLUTIONS,60,医疗大数据技术架构,61,大数据辅助医疗,62,自动选择数据集,任意维度分析展示,63,临床科研平台的核心价值是为各种应用提供数据支撑!,全文检索,64,诊疗过程质量管理,65,面向诊疗过 程的质量管理,帮助医院实现持续的质量改进,药物效果及不良反应监测,66,经营状况分析,67,整合院内经营数据,以可视化的方式展现运营绩效、质量监测、重点监管及就诊患者画像分析。,住院时间预测,68,谢谢,69,