大数据项目需考量的四个因素
- 时间:2013-08-08
- 泉源:
尊龙凯时(泉源:比特网 作者:不详)
Hadoop系统和NoSQL数据库已经成为管理大数据情形的主要工具。不过,在许多情形下,企业使用他们现有的数据客栈设施,或是一个新老混淆的手艺来对大数据流入他们的系统举行管理。
无论一个公司安排什么类型的大数据手艺栈,有一些共通的因素必需加以考量,以包管为大数据剖析事情提供一个有用的框架。在最先一个大数据项目之前,去审阅项目所要肩负的新数据需求的更大图景显得尤为要害。下面来让我们检视四个需要加以考量的因素。
数据准确性
数据质量问题关于BI和数据管理专业人士来说一定不生疏。许多BI和剖析团队起劲包管数据的有用性并说服营业使用职员去信任信息资产的准确性和可靠性。作为个性化剖析库而得以普遍使用的电子表格或电子报表软件可以对数据中信任缺乏的问题加以填补:在Excel中存储和操作剖析数据的功效为支持自助剖析能力创立了情形,但可能不会引发其他用户对效果的自信心。数据客栈与数据集成和数据质量工具一起,能够通过为管理BI和剖析数据提供标准化流程来资助树立信心。可是,由于一直增添的数据容量和更普遍多样的数据类型,特殊是当涉及结构化和非结构化数据混适时,就会对一个大数据的实验增添难度系数。建设评估数据质量标准以及对它们举行升级以处置惩罚那些更大、更多样数据集,关于大数据实验的乐成和剖析框架的使用是至关主要的。
存储适用
数据仓储的一个焦点要求是处置惩罚和存储大数据集的能力。但并不是所有数据客栈在这方面都知足要求。一些是针对重大盘问处置惩罚举行优化,而其他的则并非云云。并且在许多大数据应用程序中,相较于事务系统,由于添加了非结构化数据尚有数据的建设和网络增速迅猛,用Hadoop和NoSQL手艺增强数据客栈就成为须要。关于一个希望获取并剖析大数据的组织来说,光有存储容量是不敷的;而主要的部分在于将数据置于那里才是最佳的,这样数据就可以转化为有用信息并为数据科学家和其他用户所使用。
盘问性能
大数据剖析依赖于实时处置惩罚和盘问重大数据的能力。一个很好地例子就是:一家公司开发了一个数据客栈用来维护从能源使用计网络到的数据。在产品评估历程中,某供应商的系统有能力在15分钟内处置惩罚七百万条纪录,而另一家则在相同时间内可以处置惩罚最高三十万条纪录。能否识别准确的基础设施来支持快速的数据可用性和高性能盘问就意味着乐成照旧失败。
稳固性
随着许多组织中数据量和数据种类的增添,大数据平台的建设需要有对未来的考量。必需提前思量和求证正在举行评估的大数据手艺是否能够举行扩展,以抵达一直向宿世长的需求所要求的级别。这便凌驾了存储容量的领域,将性能也包括了进来,对那些从社交网络,传感器,系统日志文件以及其他非事务源获取数据作为其营业数据扩展的公司来说尤为云云。