大数据情形下云基础架构有多主要?
- 时间:2013-11-12
- 泉源:
尊龙凯时(泉源:CIO时代网 作者:不详)
Q:大数据情形下云基础架构有多主要?
A:云和大数据在统一时段最先盛行起来,因而成了同义词。可是,二者并不是一回事儿。云是在集成处置惩罚器集群上实验的一种并行程序设计模式,主要用于数据麋集型漫衍式应用。云的作用就在于此。早在对大数据的热衷之前,云就已经保存。但厥后云的意义变了,被看成一种结构用以建设大数据基础架构。云以谷歌的MapReduce算法为基础,该算法是在集群中分派应用的一种要领。谷歌的文件系统、运行系统、MapReduce应用以及漫衍式文件系统(HDFS)险些都以Java为基础,从而引发了一系列问题。云也需要通过节点间的故障转移来提供弹性。在众多集群中,当一个节点失效了,应该能实时举行故障处置惩罚并转移到下一个集群中去。
在以后,我并不确定有了云就可以高枕无忧了。事实上关于云已有了普遍的共识:为企业所用还需要云基础架构的许多方面起作用才行。首先,云的焦点是NameNodes,贮存了与云集群相关的元数据(集群中的每台装备、每台装备的容量、装备的用途及其能遭受的事情负载量)。这类信息并非随处可复制,而只保存于一个地方,因而成了云基础架构中的单点故障。若是云集群上正举行着主要的程序处置惩罚的话,那一定要解决这类信息。其次是JobTracker。JobTracker是管理MapReduce使命和为差别服务器安排事情负载的这样一个组成部分,换种说法,JobTracker更靠近以专门要领剖析的数据。需要强调的是,JobTracker也是一个单点故障,并且只保存于急群众的一台服务器上。这些也执偾有关当下的云架构最显着的问题。
云手艺自己并不简朴。若是妄想安排云,需要足够的程序。这些程序得能够胜任工具箱里简单程序无法做到的种种事情、得知道Pig是Pig Latin的缩写、与云运行情形息息相关。虽然,这些程序也得知道Java、JavaScript的目的符号语言Jaql。现现在找到能胜任PHP的程序已经不是什么难事儿了,只需找一些跨度极大的组合即可。
因此首先是会有一些单点故障。其次,云需要一些在手艺市场上没有的专项手艺。再次,会爆发性能问题。每个已安排云的公司都已经有了云操作方面的性能问题,因而关于其的大数据剖析会一直保存。虽然一些问题与糟糕的写入应用代码有关,但更多的是与其架构自己有关。许多公司在特另外服务器集群、直连存储和特另外软件工具上下了很大功夫,都只为改善云基础架构的速率和进给量。
虽然,基础架构的管理也让人头疼。一些人试图以ZooKeeper手艺来处置惩罚云基础架构管理,而许多厂商则力争以他们提供的定制产品来处置惩罚。问题是现在照旧没有一个很好的云管理范式,似乎也没什么指望。
前不久,福布斯的一篇文章表达了我要分享的另一个主要的关注点:云等同于肩负大数据项目的基础架构。现在,商人们并不明确这一历程,也不介意如那里置大数据。他们只是想要营业利润,要它快一点儿。文章的作者准确地视察到云也许很是适合处置惩罚规模数据(其文章看法所在),但绝对算不上迅速而专业的剖析或实时剖析学。因此,该文章也不可用于营业处置惩罚,只是起到了其下的某些价值作用,并且只是掌控数据的一种方法。
那指向了问题的焦点,最终的真正问题是:我们将大数据用于那里?许多人没有熟悉到这一问题,除了市场上那些想要使用大数据的商家们,他们的目的是使其产品和服务面向特定客户群体时能更为专业化。
上一篇:海内首套电缆局放在线监测系统投运