总览 2016-2021 年全球机器学习、人工智能和大数据行业技术地图

> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码， 原文地址 [zhuanlan.zhihu.com](https://zhuanlan.zhihu.com/p/466553256)

最近看到头标资本（FirstMark Capital）发布的一张图，上面整理归纳了 2021 年全球机器学习、人工智能和大数据公司，顺着他们官网看了一下从 2016-2020 年的历史稿件，发现一些有趣的趋势。

FirstMark Capital 成立于 2008 年，是一家主要投资于早期阶段技术类公司的风险投资机构，包括跨越整个新兴媒体、广告、游戏、教育、云计算、分析和基础设备等方向。

下面是 2016-2021 年 FirstMark Capital 归纳整理的行业公司图。

1.BIG DATA LANDSCAPE 2016

![](https://pic3.zhimg.com/v2-769a96e63507d2310ef9c7fd2480183a_r.jpg)

2.BIG DATA LANDSCAPE 2017

![](https://pic3.zhimg.com/v2-0b573d9851c44160321f12b9fa7d9d12_r.jpg)

3.BIG DATA & AI LANDSCAPE 2018

![](https://pic2.zhimg.com/v2-49ffacc4abbc6b48f149619f5ba54b65_r.jpg)

4.DATA & AI LANDSCAPE 2019

![](https://pic3.zhimg.com/v2-b8a27187fc7e242fec561991de4456ca_r.jpg)

5.DATA & AI LANDSCAPE 2020

![](https://pic4.zhimg.com/v2-e15d40f474d44bd439a3a140410935cf_r.jpg)

6.ML，AI，ANDDATA (MAD) LANDSCAPE 2021

![](https://pic1.zhimg.com/v2-d0da4defd6acbab480d4c4e0dad552d0_r.jpg)

2016-2021 这 6 年，总览图的命名发生了几次变化，从大数据（BIG DATA）、大数据与人工智能（BIG DATA & AI）、数据与人工智能（DATA & AI）到机器学习、人工智能与数据（ML，AI，AND DATA），可以看出我们慢慢的从数据中探索出了更多的应用，机器学习与人工智能领域逐渐成长了起来。针对上面这几张图，进行了分类上的一些对比，请看下表。

![](https://pic3.zhimg.com/v2-d3835d81b752a0923292dae3a886c2ce_r.jpg)

从近些年的大类上来看，**基础设施**一直是处于分类不变的状态。**数据分析**大类从 2019 年开始演变出机器智能的分类，在 2021 年开始分离出**机器学习与人工智能**分类。**应用**大类从 2017 年分离出企业级应用与行业及应用后，近些年一直保持不变。基础设施 & 数据分析分类，从 2020 年开始取消了，我仔细看了下内部的公司，都是像亚马逊、谷歌、微软、IBM 等大厂。后面 3 类，开源工具、数据源 & API、数据源，近些年都保持不变。我看了下 “基础设施” 分类跟 “分析、机器学习 & 人工智能” 分类，对里面的类别进行了变化标记（红色字体为每年新增分类）。1）基础设施分类变化

![](https://pic2.zhimg.com/v2-38368168091d0e32b45850aa9b73371d_r.jpg)

从这张图上看，基础设施上每年是有很多创新的。存储方式上，从传统的数据库到现在比较火到数据湖、数据仓库。数据处理的方式也从传统的 ETL 模式到 ELT 再到现在的 “反向 ETL”（将数据仓库的数据传输回 SaaS 应用程序的产品）。也出现了“数据可观察性”（DataOps 的一个快速出现的组件，专注于了解数据质量问题的根源并对其进行故障诊断，以数据血统为核心基础）类型的产品。同时“隐私与安全” 方向也越来越多的公司在参与研发。此外具有 AI 加持的硬件也开始崭露头角。这些基础设施的创新大大的提升了数据的使用的效率，也加强了**数据基础设施与机器学习和人工智能之间的共生关系**。

2）分析、机器学习 & 人工智能分类变化

![](https://pic4.zhimg.com/v2-5ba1ee7c3b20077d6e0737bd331fc507_r.jpg)

2021 年分析分类发生了比较多的变化，**机器学习与人工智能**被单独进行分类，并且新增了几个细分领域。分析类主要新增有：

*   “数据目录和发现”（这些产品使用户能够找到和管理他们需要的数据集）；
*   “增强分析”（BI 工具正在利用 NLG/NLP 的进步来自动生成分析结果，特别是为技术含量较低的人群实现数据的解读）；
*   “指标商店”（为服务关键业务指标提供了一个中央标准化的地方）；
*   “查询引擎”（提供高性能数据查询引擎）。
*   “机器学习与人工智能” 类里面主要新增有：“模型建筑”“特征商店”“部署和生产”。

3）应用、开源工具、数据源 & API、数据源分类变化

![](https://pic1.zhimg.com/v2-6c5dc36a8f2740df3d0363218c7e9578_r.jpg)

![](https://pic4.zhimg.com/v2-f1968d75ed2dd03bd2675de19036d44f_r.jpg)

![](https://pic3.zhimg.com/v2-bb998bbad796131b6d7af9c783af4a02_r.jpg)

应用、开源工具、数据源 & API、数据源这几类大家感兴趣可以自己去深入看看。

对于 2021 年的 ML/AI 趋势，FirstMark Capital 提出了几个可以持续关注的领域：

*   特征商店
*   ModelOps
*   AI 内容生成
*   中国人工智能技术栈的发展势头迅猛

1）特征商店

优步于 2017 年提出的想法，特征商店这个概念在机器学习栈中变得越来越普遍。随着业务的发展，数据模型和数据流变得越来越复杂，工程师和数据科学家经常花大量时间从原始数据中重新提取特征。生产环境和实验环境之间的差异也可能导致模型性能和产出出现问题。为了解决这样的类似 “数据孤岛” 的“特征孤岛”，需要建设特征商店，让特征可以在工程中进行管理跟复用。帮助团队快速建立特征，使用特征，提升工程效率。功能上主要有：数据血缘、特征监测、特征元数据等。2）ModelOps 的崛起

ModelOps 是 AI 领域中新的热门概念，是一种在分析生命周期中以迭代方式快速移动模型的整体方法。ModelOps 则侧重于从实验室获取模型，以尽可能快的速度进行验证、测试和部署，同时确保获得高质量结果。ModelOps 涵盖文化、流程和技术，帮助企业平稳、高效、持续地开发和部署模型，为所有模型创建一个集中存储库以及全面的治理能力，并为使用的所有模型实施更好的治理、监控和审计跟踪。（类似于数据中台的概念）3）AI 内容生成

近年 AI 内容生成正在快速兴起，利用 AI 算法生成文字、音频、图像、语音、视频等数据。除了单一的音频、图像合成之外，多维度的内容合成也不在话下。可以将语音、人脸、唇形等结合起来，进行人脸语音的合成，从而可以让一个人自然流利地说出自己从未说过的话。此外，人脸合成之外，全身合成、3D 合成虚拟人技术也成为当前的应用热点。在 “深度合成” 技术的商业化方面，已经有众多行业和企业看到其应用场景和广阔市场。目前，“深度合成”已经在影视娱乐、社交通讯等多个行业的场景中开始发挥作用。比如，在影视剧制作中，最直接的帮助就是提升音视频制作的效率，拓展创作想象空间；一些特殊情况下，还可以通过合成技术为影视剧的失声的演员进行声音合成，为已过世的演员进行“数字复活”；甚至直接创造虚拟数字人来进行影视剧集的制作。4）中国人工智能技术栈的发展势头迅猛

*   中国已成为世界上最大的数据生产国，并正在发展成为全球人工智能强国。
*   抖音在西方取得了跨境成功，该成功基于有史以来最好的人工智能推荐算法之一。
*   字节跳动推出了针对中国第三方的火山引擎，该引擎是为其产品开发的基础设施，除了传统的云托管解决方案外，还提供内容推荐和个性化、A/B 测试和性能监控、翻译和安全性等以**增长**为重点的工具。
*   虽然中国的大部分技术基础设施仍然依赖西方创建的工具，但自研技术工具已经开始出现。本土基础设施的例子包括阿里巴巴的 PolarDB、华为的高斯 DB、腾讯的 TBase、PingCAP 的 TiDB、Boray Data 和 Taos Data 的 TDengine。

看完这几年的总览图与相关的分析报告，感觉我们的机器学习、人工智能和大数据产品还是有很大的提升空间。在做数据产品的过程中，不仅需要看到国内同行的趋势，更要看到国际上的大方向，这样才能获得更宽广的视野。不过近几年我们在数据上的应用的确有非常不错的成绩，像阿里、字节等公司将数据中台运用的如火纯青，快速的发展了自己的业务，玩出了属于我们自己的大数据模式。FirstMark Capital 在近几年的分析文章中还提到了很多内容，有兴趣的朋友可以点击下方原文链接进行阅读。需要 2016-2021 总览图的朋友，请在公众号上回复「总览图」即可获取图片及全球 2025 家相关公司详细清单链接。

原文链接：

2016: [https://mattturck.com/big-data-landscape/](https://link.zhihu.com/?target=https%3A//mattturck.com/big-data-landscape/)

2017: [https://mattturck.com/bigdata2017/](https://link.zhihu.com/?target=https%3A//mattturck.com/bigdata2017/)

2018: [https://mattturck.com/bigdata2018/](https://link.zhihu.com/?target=https%3A//mattturck.com/bigdata2018/)

2019: [https://mattturck.com/data2019/](https://link.zhihu.com/?target=https%3A//mattturck.com/data2019/)

[https://mattturck.com/2019trends/](https://link.zhihu.com/?target=https%3A//mattturck.com/2019trends/)

2020: [https://mattturck.com/data2020/](https://link.zhihu.com/?target=https%3A//mattturck.com/data2020/)

2021: [https://mattturck.com/data2021/](https://link.zhihu.com/?target=https%3A//mattturck.com/data2021/)