通栏广告

数据处理与计算在企业大数据平台应用中面临的技术挑战

企业大数据的实施过程中,仍然面临很多技术挑战,涉及数据采集与获取、数据存储与查询、数据处理与计算、数据挖掘与学习、数据理解与应用、数据管理与扩展等方面。

  企业大数据的实施过程中,仍然面临很多技术挑战,涉及数据采集与获取、数据存储与查询、数据处理与计算、数据挖掘与学习、数据理解与应用、数据管理与扩展等方面。在数据处理与计算应用中,存在以下几个方面的技术挑战:

  

 

  技术挑战

  数据计算的实时性。传统的大数据处理侧重于离线计算,但在线计算、实时计算等需求日益显著。由于计算机硬件资源是有限的,即使采用分布式、并行计算框架仍然无法突破硬件的瓶颈,无限增长的数据规模对数据实时处理提出了更高的要求。尤其在面对时间性较强和决策周期较短的场景下,这种需求更加明显,例如地震预测(秒/分钟级)、火灾分析(分钟/小时级)等。

  多类型数据的处理与理解。对于隐藏在半结构化和非结构化数据中的潜在信息,通过表征意象提取表意信息,然后将多种来源和类型的数据整合在一起,才能得到全面的数据认知,这是后续进行数据挖掘和深入学习的基础。

  数据处理过程中的技术挑战。大数据在处理过程中,面临的噪声处理、样本选择、数据转换、降维归约、算法适配等问题,仍然是通过手工方式实现选择、调整和设置,然后计算机根据人类的设定进行运算。这些关键点在提高人工先验经验参与的同时,也不可避免地带来了人类主观性或经验局限性的影响问题,如何技术化这一过程是解决人工经验或局限性短板的重要课题。

相关推荐

5G时代的云计算服务将有哪些变化

5G时代的云计算服务将有哪些变化

到底什么是IaaS?

到底什么是IaaS?

ISC 2019与周鸿祎聊“网络战”和企业安全

ISC 2019与周鸿祎聊“网络战”和企业安全

云计算并不轻松——最大的安全风险在于客户,而不是供应商

云计算并不轻松——最大的安全风险在于客户,而不是供应商

细数云服务的11个威胁 云安全应该交给谁?

细数云服务的11个威胁 云安全应该交给谁?

电信运营商5G新未来:5G是工业互联网的“关键先生”

电信运营商5G新未来:5G是工业互联网的“关键先生”