什么是大数据？

前言

大数据将会是未来石油。

壹、背景

当今乃至未来时代，数据量将会逐步增长，数据类型也变得多种多样（结构化、半结构化、非结构化），多样且巨大的数据给处理带来了挑战，传统的数据处理方案已经不能很好地适应，因此出现了以大数据为中心的各种技术，包含采集、存储、管理以及分析，其目的是为了追求数据价值的最大化。

贰、定义

大数据是一种规模大到在获取、存储、管理、分析方面大大地超出传统数据库软件工具能力范围的数据集合。

该集合具有5V特征：

但是这个“大”用什么单位来衡量，多少数据量才算是大数据呢？事实上，并无一个具体的量来衡量大数据，也未规定一个大数据的下限值。但是从定性的角度来看，我们可以找到一条衡量的方式，单个机器因为内存、计算、延时等指标处理不了的“量”的数据，就需要用大数据分析。

叁、意义

利用大数据分析技术能够实现以下几点目标。

• 有效的营销和广告活动
• 改进的业务流程
• 增加的收入、降低的成本
• 更强大的战略规划
• 有助于在医疗诊断和治疗、科学研究和智慧城市计划、执法和其他政府项目方面取得突破

肆、应用场景/领域

大数据能够应用的场景/领域包含又不限于以下几种。

• RFID、感测设备网络
• 大科学（粒子对撞机）天文学、大气学、生物学
• 互联网搜索引擎
• 社交网络
• 通信记录明细
• 军事侦查
• 交通运输
• 金融大数据、医疗大数据
• 照片图像和影像封存
• 大规模的电子商务

伍、市场分析

根据国际数据公司（IDC）最新预测¹，全球大数据市场的IT投资规模有望在2025年超过3,500亿美元，五年预测期内（2021-2025）实现约12.8%的复合增长率（CAGR），较上个预测周期有所上涨。

IDC预测，中国大数据市场2021年整体规模超110亿美元，且有望在2025年超过250亿美元，呈现出强劲的增长态势。

陆、挑战及未来趋势

6.1 大数据分析的挑战在哪里？

总结来看，大数据分析的挑战可分为以下4类²：

• 技术挑战：选择正确的大数据工具和技术以及设计大数据系统以便能够按需扩展；
• 数据管理挑战：从处理和存储大量数据到清理、集成、准备和管理数据；
• 分析挑战：确保了解业务需求以及确保分析结果与组织的业务战略相关；
• 项目管理挑战：包括控制成本和寻找具备所需大数据技能的员工。

6.2 大数据分析的未来趋势是什么？

越来越多的企业在“云”中运行大数据系统，通常使用供应商管理的平台，这些平台提供大数据即服务，以简化部署和持续管理。企业处理几乎无限量的新数据，并按需为存储和计算能力付费，而无需维护自己的大型复杂数据中心。

除此之外，大数据分析应用在企业中还会有以下几种趋势²：

• 数据更加多样性，来自物联网设备的数据量不断增长，这导致更多企业采用边缘计算来更好地处理处理工作负载；
• 企业增加对机器学习和其他人工智能技术的使用，用于数据分析和使聊天机器人能够通过更个性化的交互提供更好的客户支持；
• 更广泛地采用 DataOps 实践来管理数据流，并更加关注数据管理，以帮助企业处理数据治理、安全和隐私问题。

柒、常用工具软件

7.1 Apache Hadoop

Apache Hadoop³可以说是大数据处理的先驱，其架构根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。

整个Apache Hadoop“平台”包括：

1. Hadoop内核
2. MapReduce
3. Hadoop分布式文件系统（HDFS）
4. 一些相关项目

与Apache Hadoop相关的项目包括：

• Apache HBase：分布式NoSQL列数据库，类似谷歌公司BigTable；
• Apache Hive：基于Hadoop构建的数据仓库，通过一种类SQL语言HiveQL为用户提供数据的归纳、查询和分析等功能，最初由Facebook贡献；
• Apache Mahout：机器学习算法软件包；
• Apache Sqoop：结构化数据（如关系数据库）与Apache Hadoop之间的数据转换工具；
• Apache ZooKeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献；
• Apache Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。

7.2 其它工具

该博客⁴从5个维度介绍大数据相关的工具，各位看官可以上手一试，开一下天门 ?。