大鱼分布式存储是面向海量数据的新型分布式存储系统,构建于低成本的通用硬件平台之上,依靠其核心软件大鱼分布式文件系统管理所有存储资源,采用横向弹性扩展架构,为用户提供可通过多种接口访问的单一文件系统服务,具有高可扩展、高性能、高可用、易管理等特性。
弹性集群架构
采用横向扩展的集群架构,系统容量与性能可随存储节点数目线性增长,突破扩展瓶颈。存储节点随用随加,可按需在线完成系统扩展,并自动均衡数据。
通用硬件平台
基于通用多盘位x86服务器、普通磁盘及主流网络构建,应用软件整合所有存储资源,并保证数据可靠性及服务可用性,硬件成本相比传统存储系统大幅降低。
数据优化管理
文件数据与元数据分离,各自优化管理。元数据全内存存取优化,采用share-nothing集群机制。数据采用智能副本策略,跨节点冗余存放,读写实时校验。
单一文件系统
整合集群内所有存储资源,以单一文件系统目录树呈现,并提供多种访问接口。通过任一接口,均能访问全局一致的文件数据,并可方便的安全共享。
性能卓越
系统性能随节点数线性扩展,可达TB级带宽及百万级IOPS。
基于内存优化及动态分区的元数据服务集群,元数据性能优异。
多方位SSD磁盘加速支持,提升热点数据及小文件性能表现。
优化流控及智能调度,确保高并发、超负荷下,性能稳定一致。
特有客户端磁盘缓存功能,减少后端系统开销,降低访问延迟。
接口丰富
文件/对象/块三大接口统一支持,全面满足各类存储需求。
专有本地客户端(Windows/Mac/Linux),文件高效并发访问。
传统主流 CIFS/NFS/FTP/iSCSI 接口支持,跨平台完美兼容。
API编程接口(C++/Java/Python),克服传统接口的诸多局限。
HDFS接口支持,无缝对接Hadoop平台,助力大数据处理分析。
稳定可靠
高可用集群架构,高可靠服务设计,系统无单点故障。
基于策略跨节点冗余分布及校验存取,数据安全可靠。
故障自动切换,数据自动恢复,2TB/h数据恢复速度。
真实大规模、高负载生产环境下,连续2600+天稳定运行。
轻松管理
快速集群部署支持,分钟级系统扩展流程。
图形化简洁管理界面,一站式系统管理运维。
内建多种自动管理运维流程,极少人工参与。
完备的系统日志、监控、图表、统计及告警支持。
系统架构 | 单一文件系统; 高可扩展scale-out架构; 元数据与数据通路分离; 元数据服务器集群 |
系统量级 | EB级存储总容量; 百亿级文件总数目; 单一目录下支持千万文件数目 |
节点数目 | 存储节点数目 ≤ 3000(最小部署2节点); 元数据服务器数目≤256; 并发客户端 ≤ 10000 |
性能表现 | TB级聚合带宽; 百万级IOPS |
可靠性 | 基于策略的多副本(≤ 8) 及纠删码(N+M ≤ 16,M ≤ 6) 数据保护方式。
数据存取实时校验; 服务自动故障切换; 系统无单点故障 |
国产化支持 | 支持主流国产硬件平台(申威/飞腾/鲲鹏/龙芯)及操作系统(统信/麒麟/深度) |
API接口 | C++/Java/Python |
文件接口 | 专有客户端(Linux注1/ Windows注2/ Mac注3)NFS/CIFS/FTP |
块接口 | iSCSI |
对象接口 | S3 |
其他接口 | HDFS 元数据SQL查询接口(离线) |
管理接口 | Web GUI注4;命令行工具 |
系统管理 |
节点管理; 服务管理; 磁盘管理; 客户端管理; 存储池管理; 性能监控; 状态监控; 容量监控(图表/统计/报警); 磁盘故障预警; 日志管理(系统/报警/审计); 系统报警(邮件/短信); 系统升级(离线/在线); 系统扩容(离线/在线); 快速集群部署; 容量自动均衡; 自动快速恢复 |
访问控制 | 用户/组管理; 挂载管理(权限控制/只读挂载/目录挂载/多挂载); NFS/CIFS/FTP管理; iSCSI管理; S3管理; 配额管理(目录/用户/组); 访问点管理; NTFS访问控制支持注5 |
高级功能 |
客户端磁盘缓存; 元数据SQL查询(离线); 用户自定义存储策略 负载均衡; 快照管理; 文件克隆; WORM; 小文件透明打包; 审计管理 元数据异步备份; 外部数据同步 |
注2:支持Windows XP 以上版本
注3:支持OSX 10.7 以上版本
注5:仅限Windows客户端
不同于传统存储设备需采用专属设备,大鱼分布式存储系统可构建于通用服务器之上,软硬件无捆绑限制,用户可自行采购硬件。考虑到不同应用的特性和需求区别较大,对系统硬件需求也各有侧重,我们提供了定制优化的大鱼存储服务器以简化用户选型,可在充分满足应用需求的同时,实现成本和性能的最优配比。 进一步了解 >