–在众多学习中,文章也许不起眼,但是重要的下面我们就来讲解一下!!
—————-回顾早期的争论—————–
现在搞大数据(后端数据)的朋友,和早些年搞数据仓库的没啥本质区别,因为都是人为需要把各系统的数据集中化,现在增加个非结构化数据,于是就叫大数据,而以前就叫数据仓库。
在10多年前,数据仓库界一直有个争论,到底是TOP-DOWN好还是Bottom-UP好,一边说,我先把企业所有数据都集成,数据基础做扎实了,然后分析就可以源源不断产出了。而另一边认为,我们得先建数据集市,把业务主题搞扎实,让数据先有产出,然后再多个主题后再进行数据梳理整合。
前者的诟病是大半年都不会有啥“数据变现”的产出,问产出,就一直在说,系统搭建中,XX系统搭好了,XX业务数据集成了,等等。后者的诟病是,数据是有产出了,但是不同主题间的数据会有管理问题、每个主题需要不断添加新的数据源,开发、数据冗余都是个问题。
这是数据仓库界争论10多年的话题,直到近两年大数据兴起,大家就都没兴趣讨论了。在很多企业,大家都采用数据团队组织基础数据,做传统数据仓库前者的事情,再组织一个商业数据分析团队,做后者的事情。只不过大家都很少提数据仓库、BI这些老概念,不知道认为过时了,还是新一代数据人都不知道这些历史。其实本质是一样的,IBM等企业10年前就是2个团队在做,前后者的优势兼得。oracle教程
经李克强总理签批,2015年9月,国务院印发《促进大数据发展行动纲要》(以下简称《纲要》),系统部署大数据发展工作。
《纲要》明确,推动大数据发展和应用,在未来5至10年打造精准治理、多方协作的社会治理新模式,建立运行平稳、安全高效的经济运行新机制,构建以人为本、惠及全民的民生服务新体系,开启大众创业、万众创新的创新驱动新格局,培育高端智能、新兴繁荣的产业发展新生态。
《纲要》部署三方面主要任务。一要加快政府数据开放共享,推动资源整合,提升治理能力。大力推动政府部门数据共享,稳步推动公共数据资源开放,统筹规划大数据基础设施建设,支持宏观调控科学化,推动政府治理精准化,推进商事服务便捷化,促进安全保障高效化,加快民生服务普惠化。二要推动产业创新发展,培育新兴业态,助力经济转型。发展大数据在工业、新兴产业、农业农村等行业领域应用,推动大数据发展与科研创新有机结合,推进基础研究和核心技术攻关,形成大数据产品体系,完善大数据产业链。三要强化安全保障,提高管理水平,促进健康发展。健全大数据安全保障体系,强化安全支撑。[11]
2015年9月18日贵州省启动我国首个大数据综合试验区的建设工作,力争通过3至5年的努力,将贵州大数据综合试验区建设成为全国数据汇聚应用新高地、综合治理示范区、产业发展聚集区、创业创新首选地、政策创新先行区。
围绕这一目标,贵州省将重点构建“三大体系”,重点打造“七大平台”,实施“十大工程”。
“三大体系”是指构建先行先试的政策法规体系、跨界融合的产业生态体系、防控一体的安全保障体系;“七大平台”则是指打造大数据示范平台、大数据集聚平台、大数据应用平台、大数据交易平台、大数据金融服务平台、大数据交流合作平台和大数据创业创新平台;“十大工程”即实施数据资源汇聚工程、政府数据共享开放工程、综合治理示范提升工程、大数据便民惠民工程、大数据三大业态培育工程、传统产业改造升级工程、信息基础设施提升工程、人才培养引进工程、大数据安全保障工程和大数据区域试点统筹发展工程。
此外,贵州省将计划通过综合试验区建设,探索大数据应用的创新模式,培育大数据交易新的做法,开展数据交易的市场试点,鼓励产业链上下游之间的数据交换,规范数据资源的交易行为,促进形成新的业态。
国家发展改革委有关专家表示,大数据综合试验区建设不是简单的建产业园、建数据中心、建云平台等,而是要充分依托已有的设施资源,把现有的利用好,把新建的规划好,避免造成空间资源的浪费和损失。探索大数据应用新的模式,围绕有数据、用数据、管数据,开展先行先试,更好地服务国家大数据发展战略。
oracle视频教程
——————商业数据分析的传统—————
在商业数据分析方面,我也是近4、5年才真正切入,之前都是做传统的数据仓库和BI。不过我经常欣赏几十年前的小数据商业分析的成功案例,试想小数据时代商业分析如此成功,大数据时代炒得那么热,却炒来炒去,就那么几个案例,有意思么?
我这里还是介绍那2个经典小数据时代的案例:
#p#分页标题#e#
oracle数据库教程
1。早期超市为了优化超市设计,采用人工观察,到后来的视频观察,来解析用户行为,他们解析用户行为的时候,发现了几个方面的业务改进Idea,超出了预期的想法。当看到人们眼光主要放在眼睛上下30度范围,于是陈列的时候,总是把利润最高的放这2排,利润低,性价比高的分别放上面和最下面;当发现人们通过买面包顺便买红酒,而不是买红酒顺便买面包,于是他们改变两种商品的组合和区域顺序;当发现免费品尝某水果,可以带动新鲜水果以及高利润的纯果汁的时候,超市又改变了策略。。。。。。。。
2。有个商场,纠结于传统方案是现代方案,于是两个方案同时上,一个是用咨询团队,一个是监控方案,数人数看人流。结果咨询团队的方案胜,原因是咨询团队虽然是小数据,但是他们的抽样数据都是按照经验选择恰当的样本,其次小数据的信息非常全面,包括人的性别、年龄、身份背景、收入水平(经验判断)、去哪个区域,买东西走到哪一步了(咨询、试穿、有没讨价还价),这些数据监控都没法得出,所以监控数据全面,但无法给出任何实质价值意义的建议,都是些空话。
———–大数据商业分析应该TO-DWON还是Botton-Up?————–
一种思路是需要足够大、全面的数据,没有解决不了的分析,一上来把所有可能的维度、数据分布、趋势都尝试一遍,认为没有规律也能看出规律了;一种是看问题,需要解决什么问题,就做什么分析,缺什么数据再从大数据中去取。
有人问,如果采用第二种方案,那么大数据价值何在,那么多数据都没利用起来?我想问,如果你想挖前面一座金山,你是挖一部分,然后淘一部分出来卖,还是把金山都挖完,然后一点点淘出来卖呢?当然你选择第一种,但你选择这个,你不会说浪费了整个金山,因为你知道你需一点点变现后才会有动力挖后面的。但为啥那么多搞大数据的人不是这个思路呢?oracle视频
看到这里,可能大家认为我偏向第二种方案,其实不全是,我一直认为任何方案都有其优势,中庸取其精华最好。第二种方案的死穴是,如果你问题没搞得透彻明白,那么分析的都是无用功,都是在错误的轨道上转圈。
——————什么是大数据时代好的分析方案?—————–
我们来看第一个超市案例,他通过一个简单的、人工判断过的“用户行为”数据解决了这么多各种业务难题(陈列、布局、商品搭配、促销等),是因为他们发现一个问题,然后去解决的思路么?不是,而是充分以“商业”为中心,以“迎合用户需求,满足商业利益最大化”这一个最大分析目的,发现了用户行为,原来对这么多商业布局都有改进的地方,可以同时满足用户的购物需求,也满足商业利益最大化的需求,于是产生了后来的一系列超市零售改进。
再看大数据的案例,某人收到小孩用品推荐,他很生气投诉,结果没多久就写感谢信,说他女儿真的怀孕了,感谢云云。其实从这个案例中,除非给人惊奇外,有多大“商业价值”?如果纯从数据商业价值来说,这个分析推荐的作用,比起超市零售通过用户行为的变革,简直不值得一提,为啥还广为流传? 因为大数据时代,还找不出像样的案例,于是就拿惊奇的案例来吸引大众注意吧。
反过来说,并非大数据无用,或者说大数据不是远不够大(要知道比超市人工观察的数据大多了),而是大数据分析和应用的人们思维并未完全打开,我相信做推荐的朋友没多少熟悉供应链的,也没多少熟悉商品定价和生命周期管理的,所以他们的大数据只是应用在推荐。
结尾:话不能说满了,剩余的给大家来讨论、思考吧。
更多视频课程文章的课程,可到课课家官网查看。我在等你哟!!!