到底什么是大数据
一个商业术语?一个热门的融资标签?一个不停被黑的消费者隐私数据库?
“大数据”这个词是麦肯锡公司提出来的。在“大数据”这个词出现之前,大数据这件事情早就以“DataMining(数据挖掘)”存在于计算机学界。麦肯锡用“大数据”这个词重新包装了数据挖掘这个枯燥的事情,正被电子化、数字化、互联网撞得昏天昏地的商业人士突然觉得眼前一亮,在一片混沌竟然埋着一根“金线”——数据的价值和作用无非是因为“大”嘛。由于大数据这样的“大”起来,学界继续用各种生涩的语言把它表达得无边无际,而商界觉得这里应该有种曹冲称象的方式——明码标价出它的“大”来。
现在,大数据有各种定义和阐述。传统定义之一是指大量而复杂且变化很快的数据,而这些数据在进行采集、分析和知识发现时,很难用传统的数据处理手段来得到精深、真实和高效的结果。
大数据将会为我们带来更广泛的高质量数据、更清晰的问题定义、更准确的量化分析和更合理的预测结果。
另外一种被广泛接受的定义是IBM企业环境事务与产品安全副总裁WayneBalta给出的“4V”定义:大量(Volume)、高速(Velocity)、多样(Variety)和精确(Veracity)。
尽管“大量”并没能很好地描述大数据的规模——事实上没有词能很好地描述。与以往的数据积累量相比(世界上90%的数据产生于最近两年),“非常巨大的数量”一般用来描述目前所产生的数据(我们每天产生2。5万亿字节的数据),而我们的大脑无法掌握和分析如此大量的数据——这就是我们前所未有地需要计算机的原因所在。
“高速”是指海量数据能被获取、整理以及实时分析的速度。实时意味着瞬间完成。例如,为了提供实时交通驾驶指引,Inrixa公司收集了37个国家,总计近七百万公里中精度达到约每200米的交通速度数据。将这些数据与多源数据相融合:交通事故新闻报道、拥堵警告、交通摄像头录像,甚至社会网络平台中众多用户发布的交通相关信息,分析这些数据,并把结果转化为可执行的导航指示——导航的速度之快能够让高速公路上的司机一边使用一边寻找正确的高速公路出口和饭店等。
“多样”是指数据的来源多样、形式多样、内容多样。WayneBalta在最近由Xerox绝乐和沃顿IGELb赞助的“大数据时代的可持续发展”为主题的会议上声称,90%的大数据是非结构化的。这意味着它缺乏通用格式。这些数据包括从红外照片到高清视频的图像类数据、鸟类啼鸣和人类语音的录音、来自火星表面和海洋远处传感器获得的原始数据以及各种通信类型:手写病历、排版书籍、古代卷轴、社交媒体帖子和电子邮件——每一种在变得有用之前都需要进行获取并进一步融合成结构化数据。
“精确”是指数据的分析表达和价值发现要精确。市场营销无疑是一个紧密依靠数据、极其贴近客户和瞬息万变的行业,这就要求我们一方面时刻洞察正在起变化的消费者,另一方面又要求助于新技术和新方法,摒除纷扰,在大量、高速、多样的数据中需求精确的商业价值,锻造可持续增长的新价值路线图。
P4-6
我们生活、工作的很多内容正在被大数据革命所改变。这本书从纷繁复杂的商业营销案例研究中得出的深刻洞见,提供了一个及时的、引人深思的观点,来重新看待大数据。这是一本全面的大数据营销的实战指导手册,是营销人员和数据工程师的必读作品。强烈推荐!
——纽约大学商学院市场营销学和信息管理学教授、沃顿商学院客座副教授、2014年“40岁以下的全球最佳40名教授”之一、大数据和商业分析前200名思想领袖Anindya Ghose
这本书针对数据建模、数据挖掘、大数据背景下的营销和广告的重要性进行了深入细致的讨论。独特之处在于它并行探讨了数据分析理论方法及市场推广应用实践。如果您正在寻找一本书来理解大数据技术和营销实践之问的关系,那就是它了!
——卡耐基梅隆大学亨氏公共管理学院院长、全球管理科学领域的领军人物Ramayya Krishnan
这本书汇集了来自中国上海、新加坡和美国大数据市场营销项日里总结的实际经验,深入浅出地讲解大数据技术、大数据在营销分析里的应用,化繁为简,展现了大数据的兴起及其重要性和复杂性,最重要的是对大数据和市场营销结合的将来进行了预测和展望。
——卡耐基梅隆大学统计系和机器学习系终身教授、美国科学院院士、美国艺术与科学院院士、美国政策与社会科学院院士Stephen Fienberg
这本书对于我们作者有两个“想不到”。
第一个“想不到”是,这居然是一本慢书!
最初我们以为这会是一本快书。
因为大数据和营销是我们的专长,也是我们安身立命的行业。我们写这个主题,是手到擒来;更何况这个主题也自带“速度感”在里面,一切应该是呼啸而来。
想不到,这本书却成了一本慢书,从开始构思到面市,将近两年时间。
大数据营销是一个剧烈变化和急速发展的行业,我们始终想把最先进的技术和最新鲜的案例呈现给大家,这期间我们N易其稿,而编辑们跟着我们一起反复修改。好在,慢自有其优势,给了我们更多时间,把值得书写的东西铺展开来。
第二个“想不到”是,书写的目的是为了“喻人”,书写的过程却很“喻己”。
最初想写这本书,也是因为我们在做项目的时候,发现要经常对客户解释很长时间关于大数据营销的一些基本名词和定义。我们想,那我们不如直接把这些要反复讲的东西写成一本书,就当是一本工作手册了。
然而,在写的这个过程,我们发现要把自己经常用PPT表达的东西改用文字整理表述的过程,几乎是对自己思维和知识累积的一次重新洗涤。
没有想象中的简单。
写完之后,反而更有了一些不安,觉得有很多话题可以前后铺展的更广,也可以不同的角度切入。但是一本书的容量总是有限。
好在开始做就好于没有做,完成比完美更重要。
我们更要感谢,在本书写作过程中,我们的老师、朋友、同事、学生及家人的大力支持和不吝分享。希望大家在阅读后能有一点小体会和小帮助。
也欢迎大家给予各种反馈和指正,以便我们可以在下一次做得更好。
为人民服务的大数据
大数据能解决什么问题?这才是大数据赖以生存的关键。
近年来,大数据的价值已被普遍接受,许多企业或机构都希望应用大数据技术将数据价值真正发挥出来。但是,到目前为止,大数据技术主要是被少数IT巨头在某种程度上利用,并没有在各个领域真正地“落地开花”。我们认为,现有的技术已经能够较好地解决大数据带来的效率挑战,但部署实施的技术门槛太高,导致这些“高端”的技术难以在IT之外的传统商业领域帮助实现大数据的价值。因此,我们相信,现有的大数据技术仍待持续发展,但重点不再是解决效率提升的问题,而应转换为解决价值落地的问题。未来大数据技术的发展方向将是“平民化”,即优化数据的获取、使用和实施等各个环节,降低技术门槛,使大数据应用能够真正普及。
全球畅销书《社会消费网络营销》作者拉里·韦伯认为,企业信息化的用户交易数据、社会化媒体中用户的行为数据和关系数据以及无线互联网中的地理位置数据——这些构成了社会营销大数据。基于此类大规模数据进行个性化营销将成为核心竞争力。实际上,研究数据的最终目标是研究人的行为,只不过数据能够提供更加具象的追踪和理解,从而多维度地关注人、洞察人。企业如果想让数据为自己所用,多维度数据分析不可或缺。所谓的“社会化营销”的概念,背后其实就是利用数据追踪人、研究人、理解人,而这就需要更好地把握研究数据的方法。
然而,自大数据出现以来,从某种程度上而言,大数据总是高高在上,难接地气;现实世界对大数据又充满期待和渴望,如何实现大数据“平民化”?
《大数据大营销》这本书正是大数据“平民化”的有益实践。数据是为了解决问题而存储,解决了问题自然就有了价值。这本书从市场营销的角度,出发于大数据是什么,梳理了大数据可以解决什么问题、如何与市场营销做有利的结合,指出现阶段的问题和挑战,并对未来的发展趋势进行预测。这不仅对于市场营销行业及研究有指导意义,更对于计算机专业人才深入理解大数据的功用具有切实的参考价值。
刘思源博士是我在香港科技大学的博士生,也是我在数据挖掘/大数据方向毕业的第一个博士;获得计算机科学与工程博士学位后,跨界到美国卡耐基梅隆大学管理学院做信息管理方面的研究,现在又再次跨界到美国宾夕法尼亚州立大学商学院做移动营销和移动大数据等方面的研究。在教学、科研与商业实践项目过程中,他积累了丰富的素材和严谨的思考,并且与工业界从事多年国际营销的朋友张金一起研讨并通过他们的实际商业案例实践,完成了这本书呈献给大家。相信这本书会让大家对大数据的“平民化”和营销实践有新的体会和价值发现!
刘思源、张金著的这本《大数据大营销》旨在商业人士和数据人士之间建立有效的“中间语言”,帮助双方联手,用大数据探索市场营销实践。
大数据做为一个热门词汇和一项炙手可热的技术也在日新月异地变化着,而中国的市场营销行业更是对新技术充满着渴望。大数据到底是什么?大数据给市场营销带来了什么样的变革?大数据如何实际解决市场营销的问题?大数据进入各行各业会遇到什么问题?有哪些成功案例可以参考?……本书以国际视野,根据作者近些年在大数据市场研究和营销行业的实践心得,从大数据技术和营销实践两个纬度进行深度挖掘,让读者和从业者能更清楚、更有效、更实际地利用大数据做好市场营销的革新,做自己领域的专家。
刘思源、张金著的这本《大数据大营销》从市场营销的角度,出发于大数据是什么,梳理了大数据可以解决什么问题、如何与市场营销做有利的结合,指出现阶段的问题和挑战,并对未来的发展趋势进行预测。这不仅对于市场营销行业及研究有指导意义,更对于计算机专业人才深入理解大数据的功用具有切实的参考价值。