尊龙凯时

尊龙凯时动态

大数据情形下云基础架构有多主要?

  • 时间:2013-11-12
  • 泉源:

  尊龙凯时(泉源:CIO时代网 作者:不详)

  Q:大数据情形下云基础架构有多主要? 

    A:云和大数据在统一时段最先盛行起来,因而成了同义词 。可是,二者并不是一回事儿 。云是在集成处置惩罚器集群上实验的一种并行程序设计模式,主要用于数据麋集型漫衍式应用 。云的作用就在于此 。早在对大数据的热衷之前,云就已经保存 。但厥后云的意义变了,被看成一种结构用以建设大数据基础架构 。云以谷歌的MapReduce算法为基础,该算法是在集群中分派应用的一种要领 。谷歌的文件系统、运行系统、MapReduce应用以及漫衍式文件系统(HDFS)险些都以Java为基础,从而引发了一系列问题 。云也需要通过节点间的故障转移来提供弹性 。在众多集群中,当一个节点失效了,应该能实时举行故障处置惩罚并转移到下一个集群中去 。 

    在以后,我并不确定有了云就可以高枕无忧了 。事实上关于云已有了普遍的共识:为企业所用还需要云基础架构的许多方面起作用才行 。首先,云的焦点是NameNodes,贮存了与云集群相关的元数据(集群中的每台装备、每台装备的容量、装备的用途及其能遭受的事情负载量) 。这类信息并非随处可复制,而只保存于一个地方,因而成了云基础架构中的单点故障 。若是云集群上正举行着主要的程序处置惩罚的话,那一定要解决这类信息 。其次是JobTracker 。JobTracker是管理MapReduce使命和为差别服务器安排事情负载的这样一个组成部分,换种说法,JobTracker更靠近以专门要领剖析的数据 。需要强调的是,JobTracker也是一个单点故障,并且只保存于急群众的一台服务器上 。这些也执偾有关当下的云架构最显着的问题 。 

    云手艺自己并不简朴 。若是妄想安排云,需要足够的程序 。这些程序得能够胜任工具箱里简单程序无法做到的种种事情、得知道Pig是Pig Latin的缩写、与云运行情形息息相关 。虽然,这些程序也得知道Java、JavaScript的目的符号语言Jaql 。现现在找到能胜任PHP的程序已经不是什么难事儿了,只需找一些跨度极大的组合即可 。 

    因此首先是会有一些单点故障 。其次,云需要一些在手艺市场上没有的专项手艺 。再次,会爆发性能问题 。每个已安排云的公司都已经有了云操作方面的性能问题,因而关于其的大数据剖析会一直保存 。虽然一些问题与糟糕的写入应用代码有关,但更多的是与其架构自己有关 。许多公司在特另外服务器集群、直连存储和特另外软件工具上下了很大功夫,都只为改善云基础架构的速率和进给量 。 

    虽然,基础架构的管理也让人头疼 。一些人试图以ZooKeeper手艺来处置惩罚云基础架构管理,而许多厂商则力争以他们提供的定制产品来处置惩罚 。问题是现在照旧没有一个很好的云管理范式,似乎也没什么指望 。 

    前不久,福布斯的一篇文章表达了我要分享的另一个主要的关注点:云等同于肩负大数据项目的基础架构 。现在,商人们并不明确这一历程,也不介意如那里置大数据 。他们只是想要营业利润,要它快一点儿 。文章的作者准确地视察到云也许很是适合处置惩罚规模数据(其文章看法所在),但绝对算不上迅速而专业的剖析或实时剖析学 。因此,该文章也不可用于营业处置惩罚,只是起到了其下的某些价值作用,并且只是掌控数据的一种方法 。 

    那指向了问题的焦点,最终的真正问题是:我们将大数据用于那里?许多人没有熟悉到这一问题,除了市场上那些想要使用大数据的商家们,他们的目的是使其产品和服务面向特定客户群体时能更为专业化 。




网站地图