发布网友 发布时间:2022-03-24 04:18
共2个回答
懂视网 时间:2022-03-24 08:40
大数据有三个主要部分,分别是数学、统计学和计算机等学科。大数据基础知识往往决定了开发人员未来的成长高度,所以要重视基础知识的学习。
是大数据开发的基础,在学习期间,往往以搭建Hadoop、Spark平台为主,一方面Hadoop对机器的硬件要求不高,另一方面Hadoop的使用也非常普遍,很多商业大数据平台都是基于Hadoop构建的。大数据的核心是数据价值化。
是目前大数据的重要应用,这些场景包括很多领域,比如金融大数据、交通大数据、教育大数据、餐饮大数据等等,这些场景应用的背后也需要对行业知识有一定的了解。
热心网友 时间:2022-03-24 05:48
1. 高效分布式
有必要是高效的分布式体系。物联网发生的数据量巨大,仅我国而言,就有5亿多台智能电表,每台电表每隔15分钟采集一次数据,一天全国智能电表就会发生500多亿条记载。这么大的数据量,任何一台服务器都*力处理,因而处理体系有必要是分布式的,水平扩展的。
2. 实时处理
有必要是实时处理的体系。互联网大数据处理,大家所了解的场景是用户画像、推荐体系、舆情分析等等,这些场景并不需求什么实时性,批处理即可。可是关于物联网场景,需求根据采集的数据做实时预警、决议计划,延时要控制在秒级以内。
3. 高牢靠性
需求运营商等级的高牢靠服务。物联网体系对接的往往是生产、经营体系,假如数据处理体系宕机,直接导致停产,发生经济有丢失、导致对终端顾客的服务无法正常供给。比方智能电表,假如体系出问题,直接导致的是千家万户无法正常用电。
4. 高效缓存
需求高效的缓存功用。绝大部分场景,都需求能快速获取设备当前状态或其他信息,用以报警、大屏展示或其他。体系需求供给一高效机制,让用户能够获取全部、或契合过滤条件的部分设备的最新状态。
5. 实时流式核算
需求实时流式核算。各种实时预警或猜测现已不是简单的根据某一个阈值进行,而是需求经过将一个或多个设备发生的数据流进行实时聚合核算,不只是根据一个时间点、而是根据一个时间窗口进行核算。