简介：近年来,随着各个领域中大规模、海量数据存储和处理需求的不断增加,集群作为一种廉价的可以提供强大计算能力的并行计算技术得到越来越广泛的应用,其具有大型机的超级计算能力和较低成本投入.从而成为各种高性能计算的主流方向,如科学计算与其他需要大规模并行计算的应用服务等.本文在分析现有分布式储存和计算等关键技术基础上,结合对Hadoop的集群技术的研究以及自身的业务需求和实际软硬件实力,提出了一种基于Hadoop的海量数据处理模型.

简介：

简介：随着企业数据信息量的增加,大数据时代的到来为企业数据信息处理提供多种新型的技术。以往企业数据处理所用的传统框架IOE是集IBM小型机、Oracle数据库以及EMC存储所组成的大型商用数据库系统。在当今该种系统架构早已不能满足企业数据处理需求,存在着较大的数据计算、处理、带宽等方面的问题。Hadoop云平台的出现,为企业数据信息处理提供更好的平台,能够实现信息高效应用。基于此,本文从传统架构IOE到Hadoop云平台的应用迁移实现角度进行分析。

简介：随着云计算的出现，大数据的概念也随之产生。自然灾害日趋增多，要求应急设施的部署规模不断扩大，这时，如何有效进行大规模应急设施的选址成为应急管理系统的关键。因此，提出一种改进的并行遗传算法并在Hadoop平台上编程实现，并应用于求解应急设施选址问题的集合覆盖模型，达到求解应急设施选址的目的。试验结果表明，改进的并行遗传算法不管在获取全局最优解上还是在求解大规模应急设施选址的时效性上都优于原有算法，是一种云计算环境下有效的应急设施选址问题求解算法。