专利摘要

本发明涉及大数据存储技术领域，具体涉及一种大数据分布式存储管理方法及系统，通过将数据分块和校验，以分块的形式存放校验后的数据块信息，将所述数据块信息发送给元数据服务器；通过元数据服务器处理元数据请求，存储文件系统的元数据信息，存储自身名字空间管理，提供系统服务；将元数据信息以镜像文件和日志文件的方式持久化到共享存储池中；通过同步元数据服务器的名字空间信息从而使得集群中每个元数据服务器利用备用节点进行热备份，从而实现对元数据服务器的热备份，本发明能保证大数据存储访问过程中数据的可靠性。

权利要求

1.一种大数据分布式存储管理系统，其特征在于，所述系统包括数据节点、元数据服务器、共享存储池、备用节点；

所述数据节点，用于将数据分块，形成数据块信息，对所述数据块信息进行校验，以分块的形式存放校验后的数据块信息，将所述数据块信息发送给元数据服务器；

所述元数据服务器，用于处理元数据请求，存储文件系统的元数据信息，存储自身名字空间管理，提供系统服务；

所述共享存储池，用于同步元数据服务器的名字空间信息；

所述备用节点，用于对元数据服务器进行热备份；

其中，所述数据节点，用于定期对元数据服务器进行数据采集，将内存元数据信息和日志内容合并成一个新的镜像文件，并将所述镜像文件发送到共享存储池中进行存储；

所述元数据服务器还用于根据各数据节点信息及列表项配置信息生成数据节点列表，将数据存放到元数据服务器对应的数据节点，每台数据节点的项数按以下公式计算：

其中，Ui表示第i台数据节点在列表内所出现的次数，C表示列表的项数，n表示数据节点总数，Ui即为每台数据节点的项数；

所述系统服务包括：通过将多个元数据服务器构成一个全局的名字空间，作为共享存储池中共享存储节点，保存元数据服务器镜像和日志文件的副本信息；

所述系统还包括切换模块，用于当元数据服务器处于离线状态时，将元数据服务器服务进程切换至备用节点。

2.一种大数据分布式存储管理方法，其特征在于，所述方法基于权利要求1所述的一种大数据分布式存储管理系统，包括以下步骤：

步骤S1、将数据分块，形成数据块信息，对所述数据块信息进行校验，以分块的形式存放校验后的数据块信息，将所述数据块信息发送给元数据服务器；

步骤S2、处理元数据请求，存储文件系统的元数据信息，存储自身名字空间管理，提供系统服务；

步骤S3、同步元数据服务器的名字空间信息；

步骤S4、对元数据服务器进行热备份；

其中，所述步骤S1还包括：定期对元数据服务器进行数据采集，将内存元数据信息和日志内容合并成一个新的镜像文件，并将所述镜像文件发送到共享存储池中进行存储；

所述步骤S2还包括：根据各数据节点信息及列表项配置信息生成数据节点列表，将数据存放到元数据服务器对应的数据节点，每台数据节点的项数按以下公式计算：

其中，Ui表示第i台数据节点在列表内所出现的次数，C表示列表的项数，n表示数据节点总数，Ui即为每台数据节点的项数；

所述系统服务包括：通过将多个元数据服务器构成一个全局的名字空间，作为共享存储池中共享存储节点，保存元数据服务器镜像和日志文件的副本信息；

所述方法还包括：当元数据服务器处于离线状态时，将元数据服务器服务进程切换至备用节点。

说明书

技术领域

本发明涉及大数据存储技术领域，具体涉及一种大数据分布式存储管理方法及系统。

背景技术

随着集群规模的扩大，在大数据分析和处理过程中，网络故障和节点失效等错误发生的概率增加，需要底层分布式数据系统提供高可用保证，保持数据系统服务的连续性。基于共享存储池，集群中每个元数据服务器利用影子节点SN进行热备，无需额外的数据系统或设备支持就能快速恢复故障。通常情况下，影子节点不提供元数据服务，处于备用状态，但始终维护与元数据服务器一致的名字空间。

因此，如何提供一种高可用，保持数据系统服务的连续性的大数据分布式存储管理途径成为值得解决的问题。

发明内容

本发明提供一种大数据分布式存储管理方法及系统，能够保证大数据存储访问过程中数据的可靠性。

本发明提供的一种大数据分布式存储管理系统，所述系统包括数据节点、元数据服务器、共享存储池、备用节点；

所述数据节点，用于将数据分块，形成数据块信息，对所述数据块信息进行校验，以分块的形式存放校验后的数据块信息，将所述数据块信息发送给元数据服务器；

所述元数据服务器，用于处理元数据请求，存储文件系统的元数据信息，存储自身名字空间管理，提供系统服务；

所述共享存储池，用于同步元数据服务器的名字空间信息；

所述备用节点，用于对元数据服务器进行热备份。

进一步，所述数据节点，用于定期对元数据服务器进行数据采集，将内存元数据信息和日志内容合并成一个新的镜像文件，并将所述镜像文件发送到共享存储池中进行存储。

进一步，所述元数据服务器还用于根据各数据节点信息及列表项配置信息生成数据节点列表，将数据存放到元数据服务器对应的数据节点，每台数据节点的项数按以下公式计算：

其中，Ui表示第i台数据节点在列表内所出现的次数，C表示列表的项数，n表示数据节点总数，U_i即为每台数据节点的项数。

进一步，所述系统服务包括：通过将多个元数据服务器构成一个全局的名字空间，作为共享存储池中共享存储节点，保存元数据服务器镜像和日志文件的副本信息。

进一步，所述系统还包括切换模块，用于当元数据服务器处于离线状态时，将元数据服务器服务进程切换至备用节点。

本发明提供的一种大数据分布式存储管理方法，所述方法基于上述任一所述的一种大数据分布式存储管理系统，包括以下步骤：

步骤S1、将数据分块，形成数据块信息，对所述数据块信息进行校验，以分块的形式存放校验后的数据块信息，将所述数据块信息发送给元数据服务器；

步骤S2、处理元数据请求，存储文件系统的元数据信息，存储自身名字空间管理，提供系统服务；

步骤S3、同步元数据服务器的名字空间信息；

步骤S4、对元数据服务器进行热备份。

进一步，所述步骤S1还包括：定期对元数据服务器进行数据采集，将内存元数据信息和日志内容合并成一个新的镜像文件，并将所述镜像文件发送到共享存储池中进行存储。

进一步，所述步骤S2还包括：根据各数据节点信息及列表项配置信息生成数据节点列表，将数据存放到元数据服务器对应的数据节点，每台数据节点的项数按以下公式计算：

其中，Ui表示第i台数据节点在列表内所出现的次数，C表示列表的项数，n表示数据节点总数，U_i即为每台数据节点的项数。

进一步，所述系统服务包括：通过将多个元数据服务器构成一个全局的名字空间，作为共享存储池中共享存储节点，保存元数据服务器镜像和日志文件的副本信息。

进一步，所述方法还包括：当元数据服务器处于离线状态时，将元数据服务器服务进程切换至备用节点。

本发明的有益效果是：本发明公开一种大数据分布式存储管理方法及系统，通过将数据分块和校验，以分块的形式存放校验后的数据块信息，同步元数据服务器的名字空间信息；对元数据服务器进行热备份，从而保证大数据存储访问过程中数据的可靠性。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明一种大数据分布式存储管理方法的流程示意图。

具体实施方式

本发明提供的一种大数据分布式存储管理系统，所述系统包括数据节点、元数据服务器、共享存储池、备用节点；

所述数据节点，用于将数据分块，形成数据块信息，对所述数据块信息进行校验，以分块的形式存放校验后的数据块信息，将所述数据块信息发送给元数据服务器；

所述元数据服务器，用于处理元数据请求，存储文件系统的元数据信息，存储自身名字空间管理，提供系统服务；所述元数据信息包括数据索引节点号、数据属性、创建时间，在逻辑上以树形结构组织，并以镜像文件和日志文件的方式保持到共享存储池中。

所述共享存储池，用于同步元数据服务器的名字空间信息，从而使得集群中每个元数据服务器利用备用节点进行热备份。

所述备用节点，用于对元数据服务器进行热备份。

进一步，所述数据节点，用于定期对元数据服务器进行数据采集，将内存元数据信息和日志内容合并成一个新的镜像文件，并将所述镜像文件发送到共享存储池中进行存储。

进一步，所述元数据服务器还用于根据各数据节点信息及列表项配置信息生成数据节点列表，将数据存放到元数据服务器对应的数据节点，以减少元数据的内存占用开销，每台数据节点的项数按以下公式计算：

其中，Ui表示第i台数据节点在列表内所出现的次数，C表示列表的项数，n表示数据节点总数，U_i即为每台数据节点的项数。

进一步，所述系统服务包括：通过将多个元数据服务器构成一个全局的名字空间，作为共享存储池中共享存储节点，保存其他元数据服务器镜像和日志文件的副本信息。

进一步，所述系统还包括切换模块，用于当元数据服务器处于离线状态时，将元数据服务器服务进程切换至备用节点。

参考图1，本发明提供的一种大数据分布式存储管理方法，所述方法基于上述任一所述的一种大数据分布式存储管理系统，包括以下步骤：

步骤S1、将数据分块，形成数据块信息，对所述数据块信息进行校验，以分块的形式存放校验后的数据块信息，将所述数据块信息发送给元数据服务器；

步骤S2、处理元数据请求，存储文件系统的元数据信息，存储自身名字空间管理，提供系统服务；所述元数据信息包括数据索引节点号、数据属性、创建时间等，逻辑上以树形结构组织，并以镜像文件和日志文件的方式持久化到共享存储池中；

步骤S3、同步元数据服务器的名字空间信息从而使得集群中每个元数据服务器利用备用节点进行热备份；

步骤S4、对元数据服务器进行热备份。

进一步，所述步骤S1还包括：定期对元数据服务器进行数据采集，将内存元数据信息和日志内容合并成一个新的镜像文件，并将所述镜像文件发送到共享存储池中进行存储。

进一步，所述步骤S2还包括：根据各数据节点信息及列表项配置信息生成数据节点列表，将数据存放到元数据服务器对应的数据节点，以减少元数据的内存占用开销，每台数据节点的项数按以下公式计算：

其中，Ui表示第i台数据节点在列表内所出现的次数，C表示列表的项数，n表示数据节点总数，U_i即为每台数据节点的项数。

进一步，所述系统服务包括：通过将多个元数据服务器构成一个全局的名字空间，作为共享存储池中共享存储节点，保存其他元数据服务器镜像和日志文件的副本信息。

进一步，所述方法还包括：当元数据服务器处于离线状态时，将元数据服务器服务进程切换至备用节点。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

一种大数据分布式存储管理方法及系统专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。