大数据的痛点

王雄

全世界都知道大数据是怎么回事：埃森哲公司“大数据的成功”研究发现，79 %的企業高管表示，不采用大数据的公司将失去市场实力，可能面临倒闭。大数据被广泛视为所有连接到互联网的组织的生命线。此外，89 %的受访者认为，大数据将以互联网的方式彻底改变商业运营。早期采用者在大数据方面看到了竞争优势，正在迅速改变并颠覆他们自己的数据实践。

但问题的关键在于许多组织只是在努力实施大数据。Unravel公司最近对组织对其大数据堆栈的意见和期望进行了一项研究，结果显示只有17 %的受访者将其大数据堆栈的性能评为“最佳”，几乎满足所有关键绩效指标和目标。这主要是由于缺乏合适的技能、成本以及获得有价值和可操作的见解所需的时间等障碍。

如果“关键”在人们的掌握之外，那么如何才能通过数据“必杀技”？答案是优化。但首先，人们必须评估给他们当前数据堆栈带来的疑虑，以便充分理解为什么人们作为DataOps社区，需要如此拼命地进行优化。

由于技能仍然稀缺，大数据引擎是否会停滞不前？

我们的研究揭示了IT运营人员的广泛痛点。36 %的受访者将其列为主要的痛点，因此缺乏技能不断成为追求数据堆栈协同效应的持续障碍。在这种技能差距中，最迫切的需求是大数据架构师，几乎一半的组织（45 %）存在问题。

随着大数据不断爆炸，日常生活中人们需要越来越多的大数据架构师处理的大规模数据库，使数据科学家和分析师能够梳理这些数据，以便提取可行的见解为需要做出业务决策的利益相关者提供更好的支持。它们对于实现企业领导者对组织的期望至关重要，特别是当他们着眼于改进的数据分析、转换和可视化时。架构师将是企业实现这些目标的不可或缺的组成部分。

其中一个主要问题可能是让企业重新回到数据栈协调和商业幸福的风险中，因为很多组织还没有在云中托管他们的大数据应用程序。82 %的受访者表示他们具有将现有大数据应用程序迁移到云端的战略。这里的推论是，他们中的许多人还没有将他们的应用程序放在云中，因此面临着随意扩展和缩小的挑战，这需要所有基础设施的准备和维护。

托管在云中的好处是：更多的企业正在意识到云计算提供的可能性。云计算的可扩展性为业务基础设施提供了包含多个服务器以及前所未有容量水平的可能性。在云中托管还可以降低成本以及提高大数据应用程序的性能。迁移到云端可能会让企业在自身尚未意识到的大数据堆栈中释放出大量潜力。

目前，大数据在防御性使用时似乎最有利可图或者说最有效，报告的主要4个用例是：

网络安全情报（42 %）；

风险，监管，合规报告（41 %）；

预防性维护的预测分析（35 %）；

欺诈检测和预防（35 %）。

超越经过试验和测试的项目可以对业务应用程序性能管理（APM）解决方案产生更大的影响，这是对大型数据堆栈的复杂软件和硬件冲突进行的微调、处理和增压。。

APM是一种能够支持双方分歧并帮助企业找到共同点的技术，是否错过了服务等级协议（SLA）、失败的作业或工作流程，缓慢的作业或查询，或计算资源不明智地分配并导致延迟亦或最终导致用户不满。通过监控大数据平台，并尝试无法实现预防或解决这些问题使用日志和图表修复问题。在典型的大数据部署中，该方法无法扩展。从隐喻的角度来说，传统的监控和调试方法就像试图解开交织在一起的电线，它只是无法扩展。对于DevOps来说，在太多不同的系统中存在太多潜在问题，但可以通过反复试验来解决问题并保持准时。

该技术有望为企业带来新的数据使用方式，但DevOps团队可能会在可预见的未来管理混合平台，因为这不是一夜之间的过渡。利用APM的强大功能和优化业务流程将揭示大数据堆栈的真正可能性，更多业务领导者将开始看到此技术满足其KPI，有助于降低整个业务的成本和时间管理。

在“大数据或将消亡”的世界里，是时候认真解决复杂、快速、不断发展的大数据栈所带来的挑战了。现在的主要挑战是确保大数据栈可靠、高效地运行，并且大数据团队拥有交付下一代应用程序、分析、人工智能和机器学习的工具和专业知识。