宝德大数据一体机BStor2000

系统概述

大数据一体机BStor2000是宝德科技自主研发,面向客户的业务需求,集海量数据存储、多源异构数据整合、统一数据目录、数据分析与挖掘、数据可视化等功能为一体的软硬件平台,在25U/38U/42U/48U等高度的特制机柜中,集成宝德自研服务器、存储设备和高速网络设备,并部署模块化的大数据软件,支持EB级(1000PB)海量数据处理,可以应用于海量视频/图片/地图数据存储与分析处理、智慧城市数据共享交换与智能分析、电子政务数据整合等领域。

?

图表?1?大数据一体机示意图

主要功能介绍

?

图表2?大数据一体机架构

适应EB级底层存储:基础设施层采用集群分布式存储系统:Lustre,对EB级海量数据存储提供支持,并在不中断服务情况下支持弹性扩容,同时具有读写速度的高性能,单柜聚合读写带宽可达10GB/s。

数据虚拟化:采用云交换技术,根据数据整合标准规范体系,进行多源异构数据整合,能整合多来源、多种结构的数据,包括结构化数据和非结构化数据,并支持数据的实时接入,同时,根据用户需求,构建数据资源中心,提供统一数据访问接口,为用户提供透明的、按需的数据服务。

适应数据结构的混合存储策略:在数据资源中心,根据数据的不同类别,选择合适的存储持久化方式。针对结构化数据,采用分布式数据库的存储方式,例如MySQL?Cluster或Oracle?RAC方式;针对非/半结构化数据,采用分布式文件系统的集群存储方式,例如采用Hadoop或Spark系统进行存储。

提供灵活的数据访问:对上层应用,提供数据统一访问接口,支持数据的增删查改操作,访问接口支持SQL,可以多种方式提供,包括JAVA?API,REST方式等,为数据目录、数据检索、数据统计分析、系统二次开发提供接口支撑,方便面向业务的深度数据挖掘和商业智能分析。

提供快速数据索引:接口部分通过引入索引模块、并行执行架构和优先读取本地磁盘的执行方式,使查询达到了实时完成、简单易用、高可靠安全的效能,使EB级的数据能够秒级处理,极大地提高了用户执行查询操作后的使用效率。

面向业务的数据分析与数据应用:提供数据目录、数据挖掘、数据检索、数据统计分析、报表展示等数据分析模块,支持数据关联分析、数据分类聚类、数据预测等数据应用,以及仪表盘、图表等多类型的数据可视化呈现。

数据安全体系:采用身份认证、加解密技术、网络隔离和日志审计技术,实现用户统一认证、访问控制、安全隔离、审计控制等安全保障。

配置参数

大数据一体机BStor2000配置参数

名称

推荐参数

数量

备注

数据管理节点PR4840R

4*E5-4600系列CPU(12C/10C/8C/6C)

128GB?(8*16GB)(最大支持32个内存插槽,最大支持1TB?DDR3?1600MHz内存)

8*1TB?2.5寸?7200/10000?RPM企业级SAS硬盘

4*1GE或2*10G光口或2*40G?IB口

冗余电源

4U机架式服务器

2台

Active-standby模式,消除单点故障。

存储接入节点PR2730R

2*E5-2620?v2?CPU

64GB?(8*8GB)(24内存插槽?最大支持768GB?Reg/ECC?DDR3?up?to?1866Mhz)

4*600GB?7200/10000?RPM?企业级SAS硬盘

4*1GE或2*10G光口或2*40G?IB口

冗余电源

2U机架式服务器

n台

n≥2,存储接入节用于接入多类型存储设备,包括NAS,SAN等。

阵列存储

64位存储处理器

支持IPSAN/NAS架构协议

支持SAS/SATA企业级硬盘

4U?36盘位

支持RAID?0、1、3、5、6、NRAID级别

4GB缓存

4*1GE或2*10G光口或2*40G?IB口

36?*企业级?4TB?SATA?7200RPM?3.5''

m台

48U单柜最大可集成8台阵列存储,单柜最大存储容量≥1PB。

网络交换机

千兆或万兆交换机或40Gb?IB交换机

2台

冗余交换,多聚合网口

一体化机柜

专用机柜、PDU、电源线

集成服务器、存储设备、网络交换机、UPS、KVM、PDU?等

良好密封性能,低噪音

低PUE值(<1.5)

良好散热性能

高性价比

1台

25U/42U/48U,可根据客户需求订制

大数据软件

根据客户需求,部署大数据软件,实现数据虚拟化,为用户提供方便快捷的数据服务。提供一年免费软件技术支持。

产品可订制、灵活性高

可根据客户需求,进行产品订制,可订制单元包括:需要处理的存储容量大小、内聚合带宽需求、数据传输带宽需求、大数据处理功能与性能需求等。

?

产品特点

一体化架构

在机柜中集成服务器、存储设备、网络交换机、UPS、KVM、PDU?等,根据用户需求,定制硬件配置并预装大数据平台软件,形成软硬件集成的一体化架构,具有高性价比、一体化运维、良好密封性能、低噪音、低PUE值(<1.5)、良好散热性能等特点。

多业务支持

支持结构化数据、半结构化数据和非结构化数据等多类型的数据业务,支持多来源数据整合和数据统一视图,在支撑数据查询、数据统计和数据分析业务的同时,还可支撑深度数据挖掘、商业智能分析和数据可视化等业务。

高可靠性

大数据一体机具有超高可靠性,任意节点宕机,系统不停止服务;任意硬盘、网卡等部件损坏,不影响系统服务。系统能够自动容错,将数据分散在各个节点上,不会出现丢失数据的现象。任务处理过程中,当节点宕机,系统自动切换并保留现有进度,保障任务继续执行下去。

高实时性

大数据平台可以实时完成数据处理和分析工作,如数据处理、数据查询和统计分析等。数据处理不会出现数据堆积现象,各类分析和查询工作基本都在秒级完成,具有前所未有的高效性。

可伸缩性

在不停止服务的情况下,增加处理节点,平台的处理能力自动增加;减少处理节点,平台的处理能力自动缩减。这样,可以做到与资源池的无缝对接,根据计算和存储任务的动态地申请或释放资源,最大限度地提高资源利用率。

高性价比

采用X86架构超高性价比的英特尔服务器组件构建大数据平台,用软件容错替代硬件容错,大大节省成本,在目标性能和可靠性能条件下,可比传统的小型机加商用数据库方案节省10倍左右成本。

比同类产品具有明显优势

指标

数据仓库

并行数据库

MapReduce平台

大数据一体机

扩展性

一般

实时性

一般

数据规模

PB

上百TB

10PB

1000PB

分布式处理能力

支持关系数据库

支持

支持

不支持

支持

成本

异构数据整合

支持

不支持

不支持

支持

?

Copyright 2017 Powerleader All Rights Reserved 深圳市宝德计算机系统有限公司版权所有