中文/英文 登录 注册
首页 > 关于爱数 > 爱数新闻
敏捷大数据分析的解决之道 发布时间:2018-05-14

早在2011年,Gartner 的分析师就预测90%的 BI(商业智能)项目会失败。到了2017年,失败的大数据项目依然会达到60%以上。而数据即服务的实现,将为企业带来巨大的价值,从而彻底改变这种局面。


当你站在花了一年时间搭建的大数据应用的超酷大屏前,欣赏自己满意的作品,期待它能为企业带来更多价值时,没有什么会比你的用户一句“这对我其实没有什么帮助!”更让人崩溃的事情了。虽然这种场景我们不愿看到,但是现实却更加残酷。


如何让分析产生业务价值,大数据永远的痛


早在2011年,Gartner 的分析师就预测90%的BI项目会失败。到了2017年,失败的大数据项目依然会达到60%以上。事实上,大数据分析的目标,与20年前产生的BI系统并无二致,本质上仍然是服务于业务的发展,为其提供决策依据。由于传统的基于关系型数据库的系统无法支撑4个V的挑战(大数据量、高速、多样性和低价值密度),催生了以 Hadoop 为代表的新一代技术栈的迅猛发展。没错,大数据时代的来临,新技术的产生,确实为企业的运营带来了非常多的可能性,很多公司通过利用各类数据创新出了各种应用来帮助其业务发展,也得到了异乎寻常的效果。但是更多的经验得出的结果却是,大数据项目根本无法像当初规划时那样提供有效的业务价值,并且多数以失败告终。技术永远都不会包治百病,如果只靠一味的引入新的技术来解决问题,而不从根本上改变解决问题的思路,则只能将问题变得更加复杂,把大量的投入变成另一个失败的项目而已。


敏捷,大数据的最佳搭档


数据分析的本质是一种将各方面源数据组织成为主题数据,从主题数据中提炼信息特征,从特征挖掘中发现规律和有价值的知识,就规律和预测等知识信息形成决策支持并进行应用和追踪评估,最后反馈回大数据系统进行反复验证、优化并持续迭代的闭环信息处理过程。

 

大多数大数据项目的失败,根本原因并不是由于技术能力的缺失,而是在用传统的IT项目的建设思路来应对大数据分析这类探索和创新型的项目。那么大数据项目为什么需要敏捷呢?在算法层面,虽然数据分析算法相对固定,但是要如何在碎片化、低价值的大数据中选择正确的数据和应用合适的算法却非常困难。企业一直在探讨的是否需要部署的深度学习就是一个很好的例证。大数据技术层面,技术正在进行新一轮的变革,市面上的开源软件技术和全新算法层出不穷。无论是数据分析师和程序员,都需要花大量的时间进行消化和积累,如何在掌握有限技术或者并没有核心技术人才的基础上快速应用大数据技术,“输入-学习-反馈-再输入”的螺旋式上升才是最佳的解决方案。大数据应用向来不缺预测模型、计算资源和数据科学家,缺少的是提出正确问题和利用大数据工具解决问题的能力。这种情况下只有不停地迭代和验证用户价值才能真正逼近大数据分析的“最优解”。



数据即服务,开启敏捷大数据之旅


要实现敏捷大数据分析,基础是构建支持敏捷开发模式的大数据平台。而数据即服务,则是构建这个平台的最佳实践。数据即服务,最直观的价值就是将企业的数据变得像“水和电”一样,将任何与数据相关的服务都汇集起来,最大化地为用户提供敏捷的数据分析能力、最大化地挖掘数据的价值。它的目标是:

  • 能够采集任意数据,包括结构化和非结构化的,并呈现统一的数据视图;

  • 建立统一的数据质量要求和统一的数据建模规则;

  • 应对海量数据存储和计算的扩展能力;

  • 改变基于 ETL 脚本的工作方式,而是建立更加敏捷的数据处理机制;

  • 对任何数据提供支持秒级查询的数据 API来应对敏捷开发;

  • 能够快速地进行报表应用开发和应用各类算法并进行参数调节快速反馈。


数据即服务的实现,将为企业带来巨大价值。数据这种资产变得按需服务和即时可得,节省了大量的开发时间和试错成本,业务上线和迭代的周期可以从数月降低到数周,能够快速验证业务并得到反馈,技术栈也一并得到简化,因此确保了大数据项目的持续成功。



想获取更多敏捷大数据分析内容

快来报名参加 AnyDATA 2018 大会吧!