通信电缆 网络设备 无线通信 云计算|大数据 显示设备 存储设备 网络辅助设备 信号传输处理 多媒体设备 广播系统 智慧城市管理系统
成都万纬信息技术有限公司
在DT时代的今天,各行各业时时刻刻都在产生海量的结构多样的数据,企业数据规模不断增长,数据类型也变得复杂多样,传统数据库技术已无法满足企业海量多样化数据的有效存储、快速读取以及分析挖掘的需求,急需一套专业化的大数据解决方案来点石成金,H3CDataEngine大数据平台在此背景下应运而生
在DT时代的今天,各行各业时时刻刻都在产生海量的结构多样的数据,企业数据规模不断增长,数据类型也变得复杂多样,传统数据库技术已无法满足企业海量多样化数据的有效存储、快速读取以及分析挖掘的需求,急需一套专业化的大数据解决方案来点石成金,H3C DataEngine大数据平台在此背景下应运而生。
H3C DataEngine 3.0大数据平台基于开源Hadoop3.0而优于开源Hadoop,提供一套完整的数据实时采集、数据存储、计算、分析、管理与开发于一体的大数据平台方案。相比开源Hadoop 3.0平台,DataEngine大数据平台在安全性、易用性、稳定性与兼容性等多方面,进行内核级优化与外围加固,为用户提供更贴心、更适合的大数据平台方案。H3C DataEngine大数据平台与H3C CloudOS深度融合,以云操作系统作为基础底座,形成独立的数据平台云服务,利用云提供灵活的基础设施资源管理,提供海量数据存储以及高性能的查询分析处理能力,助力企业用户快速构建海量数据处理系统,分析挖掘数据内在价值,并用于指导企业经营决策, 完成业务驱动到数据驱动的转型。
系统架构
H3C DataEngine大数据平台,整合基础资源服务(IaaS)、平台服务(PaaS)、数据服务(DaaS)一站式数据解决方案,支持物理机与虚拟机多种资源服务模式,深度定制大数据生态系统,打通数据全链路开发处理流程和数据全域管理能力,助力企业业务快速创新,完成ICT转型。
数据源:大数据平台可对接各种类型的数据源,结构化数据、非结构化数据与半结构化数据,包括但不限于关系型数据库、日志、流量、物联网数据、图片等。支持接收上一个数据处理组件或数据接入阶段的数据。支持自定义的数据处理操作,并可向下一个数据处理组件发送数据;支持多元化数据处理方式,包括支持Java、Python、SQL等开发语言。
资源服务层:DataEngine大数据平台依托H3C CloudOS云基础平台,提供数据平台运行的服务支撑能力,包括控制台管理框架、统一用户组织管理、工单流程管理、组件监控告警、日志管理以及微服务治理、资源池管理等。数据平台服务支持部署在物理机、裸金属服务器和虚拟机,用户可以根据实际业务场景需求灵活选择。
平台服务层:提供丰富的大数据组件即服务,包括但不限于分布式文件系统、NoSQL数据库服务、内存数据库服务、离线计算、流式计算、内存计算等服务,并通过自研统一SQL服务,兼容标准SQL,对外提供统一的数据查询、分析服务,提升平台的整体易用性。
分布式文件系统支持查询存储容量、存储使用量等信息;支持根据数据价值的高低和存储周期的长短,定义数据的物理存储节点,提高集群资料使用效率。根据数据价值高可以存储配置在SSD盘或者SATA盘的节点上,同时提供gzip、或lzc、或snappy、或其它存储压缩算法。
数据服务层:在数据存储与计算平台服务之上,还提供数据工厂、数据开发、数据资产以及数据质量等增值服务,形成统一数据标准规范,真正形成数据资产化,满足上层应用的数据要求。
H3C DataEngine 大数据平台产品包括以下关键特性:
多数据源的快速采集:数据集成服务通过简易的工作流管理界面,可轻松将存储在文件、关系型数据库、实时数据流(如设备syslog信息)等各类数据源中的海量结构化数据、非结构化数据、半结构化数据采集至大数据集群中。
海量数据的存储:对结构化、半结构化和非结构化数据提供低成本存储,通过的Ensure Code技术实现数据低冗余、高容错,并通过集群高可用和多副本机制,避免单节点故障,保证节点损坏时数据不丢失。此外平台还具有高可扩展性,用户可以增加集群节点数量,横向扩展数据存储和计算能力。
支持对集群内服务器硬盘故障自动容错处理,支持硬盘热插拔,故障硬盘的业务恢复时间< 2分钟。
元数据库支持快速切换容灾,故障时可在1分钟内完成服务恢复。
多计算框架融合:融合了稳定的离线计算MapReduce、高效的内存计算Spark以及实时的流计算Flink等多种计算框架,为客户提供灵活的计算支持能力,全面支持各类计算业务场景,客户无需切换平台或架构即可完成复杂多变的计算任务。在各类计算框架之上H3C DataEngine通过自研的统一SQL引擎,高度兼容标准SQL,智能选择计算引擎,极大降低使用复杂度,为上层应用程序提供标准的JDBC/ODBC/REST接口、多种语言的编程API和DaaS接口,辅以BI展示和可视化工具,通过即时报表、直方图、柱状图等方式直观呈现数据价值。
可视化数据工厂:提供一站式数据接入、可视化的数据开发,全托管的数据处理流程调度,实现一整套全生命周期数据开发服务,适用于数据建仓、数据分析与探索、业务报表生成、实时数据预警等业务场景。
丰富的行业应用: H3C DataEngine大数据平台经过不断的产品优化和架构演进,已经成功在、医疗、电力、税务、高校等多个行业落地实施,配合行业的应用服务开发商为客户提供丰富的大数据应用。
容灾备份:可对关键组件元数据、文件、表进行备份和恢复;数据备份和数据恢复,支持全量或增量备份。数据中心间的数据集群备份,满足多中心之间的数据互备需求,备份过程可视化管理。
多租户支持:通过对物理或虚拟资源的分配实现多个租户以及他们的计算和数据彼此隔离和不可访问。
隔离管理:支持多租户并行执行,租户任务提交到不同的队列执行,租户间资源隔离。
权限管理:支持各业务组件的租户统一管理,实现租户资源的动态配置和管理,资源隔离,资源使用统计等功能,支持多级租户的管理功能。
调度管理:支持多集群和多资源池的多租户调度。
服务名称 | 版本号 | 描述 |
---|---|---|
YARN | 3.0.0 | Hadoop资源管理器,是一个通用的资源管理系统,可为上层应用提供统一的资源管理和调度服务,使MapReduce、Spark、Flink等多种计算框架共享资源 |
HDFS | 3.0.0 | Hadoop分布式文件系统,具有高容错、高吞吐等特点,适用于存储超大文件 |
MapReduce2 | 3.0.0 | 批处理框架,主要用于离线计算、计算密集型应用。设计思想是分而治之,即将一个大任务分成多个独立的小任务,最后汇总各个小任务的结果 |
ZooKeeper | 3.4.5 | 分布式应用程序协调服务,为集群提供一致性服务,包括配置维护、名字服务、分布式同步、组成员管理等 |
Spark | 2.4.0 | 一个快速的通用的大规模数据处理引擎,提供批处理、流处理、SQL查询、机器学习、图计算、R语言等功能。Spark计算中的中间结果缓存在内存中,在后续计算过程中直接读取缓存数据,具有高效的计算性能。 |
Storm | 1.2.1 | Storm是一个分布式的、容错的实时流处理引擎,效率非常高且能保证每条消息都能被处理 |
Tez | 0.9.0 | 一个支持DAG作业的计算框架。Tez将多个有依赖关系的作业转化为一个DAG作业,大幅提升性能,帮助MapReduce克服在迭代计算和交互式计算方面的不足 |
HBase | 2.1.1 | HBase是一个分布式、面向列的NOSQL数据库,常用于非结构化和半结构化数据的存储和查询。在应用程序开发中,常使用Java API等接口访问HBase中的数据,也可以借助Phoenix等SQL引擎使用JDBC访问HBase中的数据 |
Redis | 5.0.4 | Redis是Key-Value型内存数据库,支持单机和集群两种运行模式,常用作高速缓存和消息队列代理 |
Flink | 1.6.0 | Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎 |
ElasticSearch5 | 7.4.0 | ElasticSearch是一个基于Lucene的全文搜索服务器,提供了一个分布式的、多用户全文搜索引擎。对外提供RESTful编程接口,特点是易扩展、实时搜索、稳定可靠,是当前流行的企业级搜索引擎 |
Solr | 7.4.0 | Solr是一个基于Apache Lucene项目的搜索平台。其主要功能包括全文搜索、命中突出、面搜索、动态集群、数据库集成和丰富的文档(如Word、PDF)处理 |
Hive | 2.1.1 | 基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的类SQL查询功能,具有以下特点: · 易于进行数据抽取、转换和加载 · 支持多样的数据存储格式 · 能直接访问存储在HDFS或其他的数据存储系统(如HBase)上的文件。多种使用方式,支持Shell交互式命令、JDBC、WebUI等 |
Impala | 3.2.0 | Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎,提供了高性能和低延迟查询分析能力。 |
Kafka | 2.3.0 | 一种高吞吐量的分布式发布订阅消息系统 |
Infra Solr | 0.1.0 | Infra Solr是一个专门提供给LogSearch服务的企业级搜索应用服务器 |
Sqoop | 1.4.7 | Sqoop是一个用于Hadoop和结构化数据存储(如关系型数据库)之间进行高效传输大批量数据的工具: · Hadoop数据:HDFS文件、HBase表、Hive表 · 关系型数据库:MySQL、PostgreSQL、Oracle、SQL Server和DB2等支持JDBC的数据库 |
Kerberos | 1.10.3.10 | Kerberos是一种不依赖主机地址信任、不要求网络中所有主机的安全,通过密钥系统为客户机和服务器应用程序提供强大的认证服务的网络认证协议 在Hadoop中,使用Kerberos来安全访问各个服务 |
HBase Indexer | 1.5 | HBase Indexer是针对HBase开发的索引插件,使HBase支持二级索引 |
Oozie | 5.1.0 | Oozie是用于Hadoop平台的工作流调度引擎,管理Hadoop作业 |
Flume | 1.9.0 | Flume是一个分布式的、高可靠的、高可用的将大批量的不同数据源的日志数据收集、聚合、移动到HDFS进行存储的系统 |
您感兴趣的产品PRODUCTS YOU ARE INTERESTED IN
智慧城市网 设计制作,未经允许翻录必究 .
请输入账号
请输入密码
请输验证码
请输入你感兴趣的产品
请简单描述您的需求
请选择省份