数字化转型趋势下的数据中台建设之道

近日，奇点云副总裁何夕应创业邦BangTalk邀请，首次线上直播分享《数据中台建设之道》，直播间人气爆棚互动活跃。以下为演讲实录分享（文字根据现场演讲录音整理）。

数字化转型，其实并不是个新词。

根据IDC（互联网数据中心）的报告，自从数字化浪潮开启以来，企业就开始数字化进程。而据IDC预计，到2020年中国GDP的20%将来自业务数字化转型的增加值，数字化转型已上升到宏观经济层面，不仅将改变企业运营方式，还将重塑经济面貌。

我们要如何去定义人工智能的未来？

它影响到我们去怎么去理解数字化转型的本质。

过去10年中，云计算、大数据和人工智能技术的发展，不断驱动机器智能替代体力和脑力，那些高频重复的体力和脑力工作，越来越多地被机器智能所取代；而脑力赖以生存的经验公式（方法论、思维工具等），也越来越多地被算法所代替。

数字化转型主要面临的都是数据问题

站在今天的角度，我们或许可以清晰地定义数字化转型，本质上就是以算力、算法和数据为代表的信息技术，以数字化的方式驱动社会整体的改变和变革。数字化转型的未来清楚指向人工智能的发展，从而让人做人该做的事情，让机器做机器该做的事情，人类和机器脑力算力协同发展。

传统的数据分析其实是一种刀耕火种的状态，手工对数据进行提取，手工清洗数据、手工的透视和分析，以及在此基础上生成一些可视化图表，在这个过程中，其实只有透视和分析是人真正应该去做的事情。前面的数据提取、数据清洗，包括后来的数据可视化，其实都可以通过相关的BI工具和一些可视化工具来完成。

《富足》这本书讲到，当人类社会的生产资料从供不应求进入供过于求后，很多商业模式和商业逻辑都会发生巨大的变化。

今天我们面临着一个非常大的变局——数据量的指数级增长。2015年是人类社会数据增长的一个关键节点，因为在2015年，其一年产生的数据量是人类过去历史上产生的数据量的总和。换句话说，人类的数据量自此进入了指数级增长，2015年之后，数据量每年增长40%-50%。然后它会给我们带来巨大的数据富足的挑战。这种挑战我们称它为日益增长的数据存储费用和仍然稀缺的数据应用之间的矛盾。

这个矛盾到底会给我们公司的业务带来哪些挑战？需要如何解决？

作为一家已经跨越了数据指数级增长的公司，阿里巴巴的经历或许可以给我们启示。2007年，阿里巴巴决定未来要成为一家数据公司。2009年，阿里成立了阿里云，正式开启了去IOE的路程。

从2003年成立以来，淘宝收集了大量的数据，其中90%是非结构化的日志数据，当有了数据之后，所有人都想看见数据背后的真相：用户从哪来，他们买了什么，为什么购买，转化率如何……类似这样的分析问题，给阿里带来巨大的数据挑战。

2012年数据平台部的成立，这个被称为CDO的部门，诞生了一系列数据分析和挖掘工具，包括在云端、数据魔方、淘宝时光机、淘宝指数、TCIF等等。特别要提一下TCIF（淘宝消费者数据工厂），由现在奇点云的创始人行在创立，拉通了阿里巴巴所有的消费者数据，并且完成了3000+标签体系的建设。2012年的标志性事件，就是TCIF的存储和计算消耗量超过了BI，以TCIF为代表的人群定向成为了计算资源的消耗大户；另一个标志性的指标是，阿里巴巴有50%的服务器不再处理任何事务，而仅仅用于处理数据。

2015年也有两个标志性事件：一是阿里云数加平台的成立（行在创立），代表阿里巴巴开始把内部形成的大数据能力外化，赋能社会去建立大数据能力；二是推出千人千面算法，推荐算法一跃成为了存储和计算资源的头号消耗大户。

推荐算法不仅仅是我们看到的淘宝界面那么简单，在某种程度上，推荐算法让阿里巴巴跨越了「从人指挥机器到机器指挥人的奇点」。

数字化转型核心是建立清晰有效的数据战略

为什么今年数据中台特别火？

我们所有的企业在数字化转型走到今天，会发现业务问题背后往往可能隐藏的为数众多的数据问题，如数据不通，数据不可用，数据变现等问题。

拿「数据变现」打个比方，在数据进入了乘数级增长或者指数级增长的领域会特别明显，比如汽车因车联网的关系，它的整个数据增长量非常快，可能每年都有几十T的数据增长。而这些数据只是把它们存了下来，可能我有几亿行的数据，但我连一张大宽表都拉不出来，所以这个情况下它的数据是完全不可用的，所以需要解决数据变现的问题，而数据变现就是日益增长的数据存储费用和仍然稀缺的数据应用之间的矛盾。

很多的企业其实去做了很多算法、数据应用的尝试，但是因为没有解决数据采集、数据质量的问题，就会出现例如采集到的数据一半是空值，统计口径不一致所带来的数据总和之差，也有比如说我们的发票数据和销售数据的总和，它可能相差5%~10%不等，然后在不在某些行业来说，这可能就几千万到上亿的一个差距。这些业务问题背后其实都不同程度地体现为数据问题。

数据资产如何变成业务价值？

讲数据中台的时候，我们一定会讲，需要和数据中台一起去建立整个企业的数据资产的管理体系，那么如何去建设？这也是很多企业会碰到的问题。

数据如果仅仅是存下来，它是不能解决我们所说的主要矛盾的。那么数据资产要如何增值？如何变成业务价值？哪些业务是这个领域，哪些业务是我的数字化转型过程中最核心的业务？它是有业务痛点、业务场景的，包括它可能是一些明星需求能够带动整个公司来认知这件事情，提升对数据的认知，这些都是在这个过程中需要去解决的。

大数据咨询的核心是厘清差距

数据战略不能仅仅是把它当成一个技术问题，而是要从业务、技术、组织三个维度综合的来考量我们的整个数据的问题。那么要如何去考量这件事情？此前一年，为帮助企业推进数字化转型战略，解决数字化转型中的问题，奇点云推出了大数据咨询服务，并付诸大量案例实践。奇点云也将这些实践经验总结提炼成方法论，以白皮书的形式开放给更多商业机构。

而大数据咨询服务，它的核心的价值也就是厘清差距、明确方向。

我们如何去建设整个数据中台？作为我们公司的一个基础设施，一般把数据中台拆成4个部分来做建设规划。首先对于我们的数据中台来说，他一定会需要解决的是数据的来源问题，包括对我们的数据进行有效梳理，在此基础上，我们有专业的团队来构建一站式大数据智能服务平台DataSimba，通过我们的数据中台去解决整个数字资产管理问题，以及建立整个资产管理体系，整合所有的数据。我们把这个过程称为数据的工业化生产体系，在这个基础上，我们会仰赖一些专业的分析师团队去own，仰赖于算法工程师挖掘数据价值，真正去帮助我们做数据决策，然后去产生业务价值，最终一定是实现通过数据去建立数据决策能力，并面向市场进行一些应用的开拓，从而真正有效的使用，建立内部协同、外部协同，提升整体的经营水平。

具体如何基于明星需求去开展一些业务数据化的规划和实施呢？从数据的维度，首先要建立ETL数据抽取清洗处理的能力，有专门团队再进行探索性数据分析形成算法，去赋能整个沟通决策，相当于自动化分析，在此过程中构建数据产品，在现实世界中使用，完成整个闭环动作。

下面介绍我们建立的一套数据资产管理体系的方法论，我们叫它「盘理管用」。

从数据用起来的角度，根据业务场景，看数据是否已被收集、治理，是否已变成数据资产价值，所以叫「盘理管用」。但从我们思考的维度则相反，我们要关注怎么去盘、怎么去理、怎么去管，以及最终怎么去用。

当我们具备了这样的数据中台能力，具备了这样的数据资产管理体系，我们就会进入到如何去赋能我们的业务，然后也分享我们在实践过程中的一些经验。我们在跟一些企业做咨询的时候，其实大家慢慢对算法这件事情会产生极大的认同，因为算法代替经验公式在今天是一个不可阻挡的潮流。那么对于公司来说，未来的竞争的态势很可能会是每个公司所拥有的算法的数量和质量的竞争，公司就需要去沉淀自己的算法平台，去沉淀自己的算法模型，包括在集团管控、研发、制造、营销、服务、人才，包括共享服务上，都需要有自己的算法模型，去真正的去一方面去提升人效，降低整个成本，另一方面就去沉淀自己的一些实实在在的竞争壁垒。

目前线下的传统企业，很多时候数据问题并不仅仅是数据不通或者数据变现的问题，很多时候还是数据有无的问题。想要具备淘宝一样的数据化运营能力，那么它最大的数据来源会是哪里？从科学的角度来说，线下90%其实都是视图声的。而视图声数据大家都知道，它一定是非结构化数据，那么我们就需要去解决这些非结构化数据的采集和结构化的问题。我们如何把「数据原油」转化为企业所需要的燃料，助推商业引擎？

奇点云提出了AI+DATA「云（智能）+端（感知）」解决方案，帮助更多企业实现数字化转型，为他们赋能。