推广 热搜: 行业  机械  设备    系统  教师  经纪  参数    蒸汽 

快速云:云计算平台上的数据管理技术与应用

   日期:2024-11-10     移动:http://dh99988.xhstdz.com/mobile/quote/62016.html

摘要:在信息技术飞速发展的今天,云计算平台得到了广阔的发展空间。本文中,笔者立足实践,分析了云计算平台上的数据管理技术,探究了云计算平台上数据管理技术的应用,以期云计算平台的作用能够得到最大的发挥。

快速云:云计算平台上的数据管理技术与应用

信息时代背景下,信息技术、互联网已经被广泛地运用到社会的各个领域,而云计算平台随之产生。元计算平台不仅具有储存数据的功能,还具有计算数据节点的能力,它主要由三部分内容组成,分为为:数据管理、数据存储、分布式计算。在新时期背景下,云计算平台需要具有非常强大的数据存数功能,因此当前云计算平台往往会采用分布式结构化数据存储系统。简单来讲,就是将每一个数据复制成为多个副本,且将每一个副本都放置在分布式系统上。

1数据管理技术

云计算平台上往往会储存大量的数据,并且数据会时时刻刻都发生变化,换言之,云计算平台上,一般都是新的数据替换旧数据的过程,可以称之为一个动态的数据库。云计算平台的数据管理一般会采取“数据领域中储存”的管理模式,具体来讲,就是将表按照列进行划分存储。例如,Bigtable是由Goo#e开发的分布式储存系统,它并没有具有任何全新的技术,而是将之前的技术进行了融合,虽然它具有与数据库有相似之处,但并非真正意义上的数据库。Bigtable数据的模型具体如图1。

通过图1可以发现,Bigtab~中数据的排列顺序是按照关键词的字典顺序进行排列的,同时还对行进行了动态的划分,更能够将记录存放于记录板中。另外,Bigtable中的存储权限控制是由列组粒度中进行的,而列组往往有若干个列组合而成。每一个表示数据不同版本的时间就是一个六十四位的证书。

2数据管理应用

2.1Hadoop分布式文件系统

HDFS一般会采用master/slave架构,它的集群往往是由Namenode、Datanode两部分组成。该系统中,Namenode的主要责任就是文件系统的namespace、客户端对文件的访问,可以说是该系统的中心服务器;Datanode的主要责任就是管理每个节点上附带的储存,而且该系统中每一个节点就会有一个对应的,且存在于集群中。從内部角度来讲,每一个文件都会分为block,可以是一个也可以是多个,但是却都会储存到Datanode的集群中。进行“namespace”操作就是某个block具体到“Datanomde”节点的映射,同时还必须要认清楚Datanode是在namespuce的指导下进行工作的,主要是复制、保存或者删除block。

通过对比BDFS与其他文件系统发现,任何的文件系统,用户都可以穿件数据自己的目录,并根据自己的实际需求进行创建、删除、重命名等操作,但是HDFS既不支持访问权限,也不支持user quoter,更不支持与link进行连接。在具体的操作过程中,Namenode对namespuce具有维护作用,因为无论任何因素影响下,文件系统nam espace的任何操作都会被Namenode一一记录下来,而且特别清晰。另外,在具体的应用过程中,还能够根据实际的需求,设置HDFS保存文件副本的数据。

2.2Mamenode编程

Mamenode是一种计算模型,对于HAdoop来讲,它是核心的计算模型。Mamenode能够将抽象、复杂、大规模的计算转化成为Map、Reduce两种函数,它是一个简单、神奇且威力巨大的模型。运用Mazenode的过程中,该编程中出现的其他复杂问题,往往也都是由Mazenode进行处理,因为这是Mamenode的责任。运用Mazenode模型时,能够减少程序员的工作难度,它往往就是便携一个简单的分布式并行程序,整个过程中程序员的编码工作都是为了实现Map和Reduce函数。

程序框架:

Class MR,

Class Map…{}

ClassReduce…{}

main(){

Job Conf conf=newJob Conf("MR.class");

confset InpmPath("the_path_of_HDFS");

conf.setMapperClass(Map.class);

conf.set Reduce Class(Reduce.class);

Job Client.run Job(conf);

}}

3结束语

本文地址:http://dh99988.xhstdz.com/quote/62016.html    物流园资讯网 http://dh99988.xhstdz.com/ , 查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


0相关评论
相关最新动态
推荐最新动态
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号