大数据与商业分析---TOP-DOWN纠结

阿帕奇

【编者按】有人认为挖矿先必须对整座矿山元素进行全面勘察，然后推出最优开发方案；有人认为矿挖到那里利用到那里？前者从整体出发，理论是是最优的，但投入成本高，周期长，可预见收入少，后者虽然短视，但其能切切实实的带来利益。这就是数据分析TOP-DOWN与Bottom-UP的矛盾所在，大数据的概念引爆后，关于传统商业数据分析应用的话题讨论又有了新的素材，且看这篇来自@innovate511的数据分析观点文章。

回顾早期的争论
现在搞大数据（后端数据）的朋友，和早些年搞数据仓库的没啥本质区别，因为都是人为需要把各系统的数据集中化，现在增加个非结构化数据，于是就叫大数据，而以前就叫数据仓库。
在10多年前，数据仓库界一直有个争论，到底是TOP-DOWN好还是Bottom-UP好，一边说，我先把企业所有数据都集成，数据基础做扎实了，然后分析就可以源源不断产出了。而另一边认为，我们得先建数据集市，把业务主题搞扎实，让数据先有产出，然后再多个主题后再进行数据梳理整合。

前者的诟病是大半年都不会有啥“数据变现”的产出，问产出，就一直在说，系统搭建中，XX系统搭好了，XX业务数据集成了，等等。后者的诟病是，数据是有产出了，但是不同主题间的数据会有管理问题、每个主题需要不断添加新的数据源，开发、数据冗余都是个问题。

这是数据仓库界争论10多年的话题，直到近两年大数据兴起，大家就都没兴趣讨论了。在很多企业，大家都采用数据团队组织基础数据，做传统数据仓库前者的事情，再组织一个商业数据分析团队，做后者的事情。只不过大家都很少提数据仓库、BI这些老概念，不知道认为过时了，还是新一代数据人都不知道这些历史。其实本质是一样的，IBM等企业10年前就是2个团队在做，前后者的优势兼得。

商业数据分析的传统
在商业数据分析方面，我也是近4、5年才真正切入，之前都是做传统的数据仓库和BI。不过我经常欣赏几十年前的小数据商业分析的成功案例，试想小数据时代商业分析如此成功，大数据时代炒得那么热，却炒来炒去，就那么几个案例，有意思么？

我这里还是介绍那2个经典小数据时代的案例：
1。早期超市为了优化超市设计，采用人工观察，到后来的视频观察，来解析用户行为，他们解析用户行为的时候，发现了几个方面的业务改进Idea，超出了预期的想法。当看到人们眼光主要放在眼睛上下30度范围，于是陈列的时候，总是把利润最高的放这2排，利润低，性价比高的分别放上面和最下面；当发现人们通过买面包顺便买红酒，而不是买红酒顺便买面包，于是他们改变两种商品的组合和区域顺序；当发现免费品尝某水果，可以带动新鲜水果以及高利润的纯果汁的时候，超市又改变了策略。。。。。。。。

2。有个商场，纠结于传统方案是现代方案，于是两个方案同时上，一个是用咨询团队，一个是监控方案，数人数看人流。结果咨询团队的方案胜，原因是咨询团队虽然是小数据，但是他们的抽样数据都是按照经验选择恰当的样本，其次小数据的信息非常全面，包括人的性别、年龄、身份背景、收入水平（经验判断）、去哪个区域，买东西走到哪一步了（咨询、试穿、有没讨价还价），这些数据监控都没法得出，所以监控数据全面，但无法给出任何实质价值意义的建议，都是些空话。

大数据商业分析应该TO-DWON还是Botton-Up？
一种思路是需要足够大、全面的数据，没有解决不了的分析，一上来把所有可能的维度、数据分布、趋势都尝试一遍，认为没有规律也能看出规律了；一种是看问题，需要解决什么问题，就做什么分析，缺什么数据再从大数据中去取。

有人问，如果采用第二种方案，那么大数据价值何在，那么多数据都没利用起来？我想问，如果你想挖前面一座金山，你是挖一部分，然后淘一部分出来卖，还是把金山都挖完，然后一点点淘出来卖呢？当然你选择第一种，但你选择这个，你不会说浪费了整个金山，因为你知道你需一点点变现后才会有动力挖后面的。但为啥那么多搞大数据的人不是这个思路呢？

看到这里，可能大家认为我偏向第二种方案，其实不全是，我一直认为任何方案都有其优势，中庸取其精华最好。第二种方案的死穴是，如果你问题没搞得透彻明白，那么分析的都是无用功，都是在错误的轨道上转圈。

什么是大数据时代好的分析方案？
我们来看第一个超市案例，他通过一个简单的、人工判断过的“用户行为”数据解决了这么多各种业务难题（陈列、布局、商品搭配、促销等），是因为他们发现一个问题，然后去解决的思路么？不是，而是充分以“商业”为中心，以“迎合用户需求，满足商业利益最大化”这一个最大分析目的，发现了用户行为，原来对这么多商业布局都有改进的地方，可以同时满足用户的购物需求，也满足商业利益最大化的需求，于是产生了后来的一系列超市零售改进。

再看大数据的案例，某人收到小孩用品推荐，他很生气投诉，结果没多久就写感谢信，说他女儿真的怀孕了，感谢云云。其实从这个案例中，除非给人惊奇外，有多大“商业价值”？如果纯从数据商业价值来说，这个分析推荐的作用，比起超市零售通过用户行为的变革，简直不值得一提，为啥还广为流传? 因为大数据时代，还找不出像样的案例，于是就拿惊奇的案例来吸引大众注意吧。

反过来说，并非大数据无用，或者说大数据不是远不够大（要知道比超市人工观察的数据大多了），而是大数据分析和应用的人们思维并未完全打开，我相信做推荐的朋友没多少熟悉供应链的，也没多少熟悉商品定价和生命周期管理的，所以他们的大数据只是应用在推荐。

结尾：话不能说满了，剩余的给大家来讨论、思考吧。