作者| 西西

编辑 | 陈采贤

众所周知，算法、算力和数据是人工智能发展的“三驾马车”。 吴恩达等学者常说：以数据为中心的AI，或数据驱动的AI。

可见，近年来数据量的激增是AI腾飞的驱动力之一，而数据在AI中扮演着重要的角色。 那么，人们常说的“大数据”到底有多大规模呢？

出于好奇，意大利物理学家 Luca Clissa 调查了 2021 年几家知名大数据源（Google Search、Facebook、Netflix、Amazon 等）对撞机电子设备检测到的数据 (LHC) 进行了比较。

地址：https://arxiv.org/pdf/2202.07659.pdf

毫无疑问，大型强子对撞机的数据量是惊人的，高达 40k 艾字节。 但是，商业公司的数据量不容小觑。 例如，存储在 Amazon S3 中的数据量已达到约 500 EB，大致相当于 Google 搜索（62 PB）的 7530 倍。

此外，流式数据在大数据市场也占有一席之地。 Netflix 和电子通信等服务产生的流量比纯数据生产商多一到两个数量级。

1 LHC数据量

根据Luca Clissa调查，2021年主要知名数据源数据量大致如下：

图例：2021年 大数据规模

右上角（灰色部分）为欧洲核子研究中心（CERN）大型强子对撞机（LHC）实验电子设备检测到的数据，为 最大的。

在上一次运行期间（2018 年），大型强子对撞机在四个主要实验（ATLAS、ALICE、CMS 和 LHCb）中的每一个中每秒产生了大约 24 亿次粒子碰撞，每次碰撞可以提供大约 100 MB 的粒子碰撞 数据，因此估计每年的原始数据量约为 40k EB（=10 亿千兆字节）。

但以目前的技术和预算，存储 40k 艾字节的数据是不可能的。 此外，只有一小部分数据是真正有意义的，因此没有必要记录所有数据。 记录的数据量也已减少到每天约 1 PB。 上次2018年采集的真实数据只有160PB，模拟数据240PB。

此外，收集的数据通过WLCG（全球LHC计算网络）持续传输，2018年产生了1.9k PB的年流量。

但是，欧洲组织 核研究中心 (CERN) 正在努力通过 HL-LHC 升级来增强 LHC 的能力。 这一过程产生的数据量预计将增加五倍以上，预计到 2026 年每年将产生 800 PB 的新数据。

2 大公司数据量对比

大公司的数据量很难追踪，而且数据通常不会公开。 为此，Luca Clissa 采用费米估计，将数据生成过程分解为原子组成部分，并做出合理的猜测。

例如，对于特定数据源，检索在给定时间窗口内生成的内容量。 然后通过合理猜测此内容的单位大小（例如平均消息或图像大小、1 小时视频的平均数据流量等）来推断数据总量。

他从如下数据源估计 Google 搜索、YouTube、Facebook 等：

Google 搜索：最近的一项分析估计，Google 搜索引擎包含 30 到 5000 亿个网络 页。 根据 Web Almanac 提供的信息，假设谷歌年平均页面大小约为 2.15 MB，那么截至 2021 年，谷歌搜索引擎的总数据大小应该约为 62 PB。