登陆注册
2841100000019

第19章 大数据与技术变革(3)

亚马逊当时的技术人员格雷格·林登思考之后,想出了一个解决方法:其实,根本没有必要将不同的用户进行比较,我们只需要找到产品之间的关联。这样的推荐方式可以提前分析产品之间的关系,所以推荐速度非常快,适用于不同产品,甚至可以跨界推荐商品。

林登说:“书评团队被打败、被解散,我对此感到非常难过。但是,数据没有说谎,人工评论的成本是非常高的。”

他将书评家带来的销售量和推荐系统产生的营销业绩进行了比较,发现推荐系统带来的商品销量远远高于书评家,这个销量比较数据直接影响了亚马逊解散书评组,而由推荐系统取代他们来推荐更可能受用户欢迎的产品。

在亚马逊的带领下,越来越多的公司开始使用这种个性化推荐系统,迅速推动了电子商务的发展。而这种基于海量数据的推荐,也是大数据早期运用的一种形式。

☆大数据是实现个性化的基础

事实上,要实现个性化的商业模式,充足的数据是其必不可少的基础。没有海量的数据,个性化也无从谈起;没有海量的数据,我们甚至连小部分用户的个性也很难总结,更不用说多数用户。

不知道你是否听过“啤酒和尿布”的经典故事。在超市里,尿布要摆在啤酒旁边才能卖得好,这也正是在深入分析大众需求的基础上得出的结论。这样的“规律”安静地隐藏在数据中,它一言不发,只等人们自己发现。我们总是需要深挖,才能让它们浮出水面。

然而大数据相对于传统的数据挖掘更进一步。大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万之间的关联。……大数据具有如下特点:数据量大、数据种类多、数据之间有潜在关联、速度快、时效高。

无所不在的数据、无处不在的网络和大规模分布式的存储和运算能力(云计算),忠实地记录了我们的衣、食、住、行及社交状态。现在,人类一天创造的数据相当于2000年一年的数据量。

你是否每天会在微博、微信、人人网之类的网站上发布信息?一分钟内,微博上新发的微博超过10万;社交网站Facebook的浏览量超过600万……整个互联网的用户和所有的商品本身就是一个足够大的数据空间,加上空间、时间、天气等等潜在相关因素,想要知道每个用户的喜好,所需要的数据量是巨大的。数据越多,对于用户的理解越精准,但同时分析的难度也就越大。

☆互联网大数据处理的技术挑战

事实上,当你仍然在把微博等社交平台当作抒情或者发议论的工具时,华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”,先人一步用其预判市场走势,而且取得了不俗的收益。

然而,处理互联网大数据充满挑战,正如上文所提到的,数据如此之多,如此之庞杂,如何才能够有效地找到数据之间的关联,如何才能充分利用大数据以期实现个性化的需要,都是我们每一个人需要思考的问题。

我们首先要明确的是,处理大数据需要具备哪些能力。为使消费数据的速度赶超生成数据的速度,拥有足够的计算资源是必要条件。而大数据处理的核心能力为具有高水平的计算框架、稳定的程序设计以及精准的算法。而这些能力则需要专业的计算机技术人才来实现。

其次便是时效性。用户生成数据的速度是非常之快的。如何才能及时感知到这些有效数据,在用户下一次操作前做出有效的响应,最终给用户带来便捷?这样的时效性要求计算机系统能够以数据流的方式来运转,最终导致系统采用与传统批量大数据处理截然不同的技术方案。

最后,为了更大程度地满足个性化需求,还必须具有足够强大的定制能力。尽管单个用户的定制需求可能很小,但用户数量巨大,定制需求迥异,如何才能够及时有效地满足每一位用户的需求呢?这就需要有像数据库SQL语言(结构化查询语言)那样给用户足够多的自由,使再小的需求通过简单的操作就能满足。这样的定制能力要在数据的存储、运算、查询、展现等多方面都有体现。

☆阿里云的解决之道--云推荐

不论是收集大数据的计算和存储能力,还是处理个性化问题所需要的实时计算和算法技术,对于网站站长和开发者而言都是不容易快速得到解决的问题。听说过“云”的概念吗?它相当于把每一位用户生成的数据内容存储到一个大的存储器中,再根据用户的需求从“云端”下载,比如现在非常流行的“云电视”、“云储存”、“云服务”等。阿里云正试图通过云端服务来降低个性化服务的门槛,使更多网站站长和开发者能够低成本享有自己的个性化服务,其中云推荐便是一个典型。

什么是云推荐呢?举一个最简单的例子来说,如果某网站是介绍美食菜谱的,用户在浏览某种菜或者是汤的制作方法时,如果能够有些相关菜谱的推荐,那么便可以让用户在网站内停留更多时间,访问更多内容。

云推荐又该如何实现呢?事实上,有多种方式可以找到用户感兴趣的内容:

第一,从用户访问日志里面发现。每一位用户都会产生浏览记录,云推荐通过对用户浏览记录数据的科学分析,推荐一系列的相关内容。

第二,可以把网站里面其他热门的菜谱推荐出来,对不同网站相同的内容进行整合与链接。

第三,寻找不同种类的内容,假如用户在浏览某类汤的做法,那么可以推荐一些某类饭菜的做法。

然而,要实现这样的推荐,传统的做法需要大量的人工编辑工作。既不能做到即时,也很难保证好的效果。一个精准的推荐模型,必须对该方法本身的整体效果以及用户对各种推荐方法结果的偏好作出一个综合的评估,这样才能找到适合每一个用户的精准推荐模型,最终让用户享受到推荐展位“千人千面”的个性化服务。

那么,普通人可以使用云推荐服务吗?可以的。如果你也想尝试一下,只需在云推荐网站注册申请,得到一个十位应用ID,如“1000001234”,并将系统生成的代码内嵌在网页代码中便可以得到个性化推荐结果。这个过程一般一分钟即可完成。

随后的事情,当然就要交给云端系统了。它会开始对网站进行深度分析,还会持续根据展现的点击效果自动调整推荐方法的模型和权重。

在云推荐的管理界面里,网站开发人员可以定制推荐位置大小、推荐内容条目数、URL范围、展现形式等参数。网站站长还能看到推荐展位的点击情况,并根据建议适当调整推荐位置参数以改善效果。

如果你是专业的网站运营和管理人员,那么你要知道,云推荐服务还针对主流建站工具Wordpress等提供插件支持。开发人员在安装插件之后,即可在工具管理界面来操作并管理云推荐的各项功能。根据后台统计,网站启用云推荐后的整体流量会提升10%。这样的个性化服务让人感觉就像是钱存银行能拿到利息一样,是大数据魅力的展现。相信随着数据的不断积累及用户数量的累积,个性化服务在大数据时代能给人带来的远不止10%流量提升这样的惊喜!

现在,你也许能够理解云推荐背后的奥秘了,它的基础仍旧是每一位用户生成的数据,你浏览的什么网站,在网上发布了什么东西,或者点了某篇文章,都是海量数据的基础。正如海纳百川的道理一样,数以万计的网民产生的数据汇聚到一起,就成为“大数据”。它的本质是如此透明,但又是这么巨大。

只要通过专业的分析软件,把大数据分析、整合、利用,最后就会成为每一位用户所看到的“猜你喜欢”。这个时候,想必你已经不再感到惊讶了。秘密就是这么简单!

☆个性化真的安全吗?

每一件事情有好的一面,就有不好的一面。大数据也是如此,无论它发展出多么奇妙的应用和提供多么方便的功能,它都有需要我们规避与纠正的弊端。

让你印象最深刻的一定是隐私。大数据在大大方便了我们的生活的同时,也在严重威胁着我们的个人隐私。一方面,我们不得不使用网络,但另一方面,我们又害怕自己的隐私被毫不遮掩地暴露。“棱镜门”事件让我们重新思考大数据下的安全问题。随着“棱镜门”的发酵,大家惊讶地发现,美国的网络监控已经在大数据盛行的今天走得那么远,将世界各国都抛在了后面。

同时还有根服务器的问题。在1969年,美国西南部的4所大学--加州大学洛杉矶分校、斯坦福大学研究院、加州大学、犹他州大学的4台主要计算机连接起来,这就是最早的互联网。目前,中国互联网用户已突破5亿,全球排名第一,但主要用来管理互联网主目录的根服务器全世界共13台,1台主根服务器仍然在美国,其余12台辅根服务器9台在美国,没有1台在中国。

美国的互联网用户数量还不到我国的一半,但网络主机数量是中国的28倍。在美国控制了多数根服务器的前提下,中国的网络安全堪忧。这也是个性化存在风险的决定性因素之一,因为我们无法控制现状,就像一个人被掐住了脖子一样。

前有传媒大亨默多克的《太阳报》因为窃听丑闻而关闭,后有斯诺登事件的发生,这些都在考验着我们着实堪忧的网络环境。所以,每一个人心里都有一个问号,大数据环境下的网络安全吗?我们的隐私还是隐私吗?如何才能安全地使用互联网,在大数据的使用和用户隐私之间找到一个平衡点,是我们需要进一步思考的问题。

同类推荐
  • 精细化管理一本通

    精细化管理一本通

    作者从生产管理、质量管理、物料管理、设备管理、现场管理五个层面逐级展开,为国内生产制造型企业的生产、销售、研发、项目、采购等部门的质量管理提供了精细化的解决方案,是一部使精细化管理得以有效落实的工具书。本书不仅适合企业高层管理者使用,还可作为企业培训师、咨询师和高校相关专业师生的参考用书。
  • 第一次销售就成功

    第一次销售就成功

    新入职的营销人员,对事业与人生有着美好的憧憬;有经验的营销人员,对成为销售专家有着强烈的渴望。
  • 公关总监

    公关总监

    当10万元打造中高级职业经理人的飓风刮起的时候,你还以为响亮的头衔、宽敞的办公室这些东西就能让你成为真正的管理者吗?那你就OUT了。杰出的管理能力和突出的贡献才是管理者横行天下的王道。赶紧给自己充电吧。做杰出管理者从阅读本书开始。
  • 销售是个好职业

    销售是个好职业

    顶尖销售人员不凡的魅力让人景仰膜拜,而低微的销售人员又让人无时无刻不鄙视。它让不少走近它的人很快尝到甜头,更让许多接近它的人吃尽无数苦果。销售是生死艺术,有人因此进入天堂,有人因此下了地狱。你想走哪一条道?我已经听到了,是天堂!本书结合作者自己多年的销售心得,给销售新手指出了一条从开始就正确的道,让新手:做正确的事,再正确地做事。同时为新手们提供了许多销售的理念、实用技巧、方法、策略。让新手一人行就能很清醒地避开弯路、避开无知、避开伤害,找到方向、找到方法、找到力量、找到智慧,在销售这条玄妙的大道上顺利打造自己的美好“钱”途。
  • 蒙牛攻略

    蒙牛攻略

    从蒙牛的管理模式与企业战略,人力资源与企业文化以及营销策略与品牌攻略等几个方面入手,以独特的视角揭示了“蒙牛速度”背后真正的奥妙。例如:无论是创立之初精妙绝伦的比附策略,还是后来蒙牛酸酸乳与超级女声的完美结合,抑或是体现出蒙牛管理迈向标准化的三权分立、矩阵式变革,蒙牛大胜局书系以实例和理论相结合的方式,更毋庸说闻名于业界的“蒙牛商学院”,提倡大公有制的草原精神,更有贯穿了蒙牛的整个发展过程的牛氏魅力……从多个角度,深入挖掘了蒙牛的独特魅力,希望能使读者对蒙牛有一个全新的认识、全新的视野以及获得一种全新的感悟
热门推荐
  • 极品魔少

    极品魔少

    【巅峰聚焦——品牌佳作,强力推荐】这是一个拼爹的年代,某人的老爸是局长,某人的老爸是市长,某人的老爸是董事长,而我的老爸却是……十八岁之前,我从未见过他,当这一天他突然出现在我的面前,才知道,他是一个魔鬼,来自地狱最深处。他给了我一双恶魔之瞳,能让我看清人心的善与恶,灵魂的黑与白,以及,正常人看不到的很多东西。我的生活从此变得无限精彩,但即便如此,我还是要对魔鬼老爸说一句:混蛋,你还能更无耻一些吗?
  • 尸心不改

    尸心不改

    控尸门的欢乐二缺弟子江篱炼了一具美得人神共愤引得天雷阵阵的男尸,以为好日子开始了,结果没想到门派惨遭灭门。--情节虚构,请勿模仿
  • 恶魔谋妻行动

    恶魔谋妻行动

    报复一个男人最好的办法就是嫁给他,从此吃他的,玩他的,还能虐待他的女儿,顺便爬墙摘几朵红杏,闹得鸡飞狗跳再拍拍屁股走人,可是安心没料到她非但走不了,她还是当着全国人民的面被他抓回去的,彼时大街小巷都在播放他的御妻名言:童安心,你老公喊你回家跪搓板!
  • 明治天皇:孝明帝驾崩卷(下册)

    明治天皇:孝明帝驾崩卷(下册)

    《明治天皇》再现了日本从幕末走向明治维新的历史变革,以优美的文笔,宏大的场景,详细描绘了日本近代决定国运的倒幕运动的整个过程。本书塑造了一个个鲜活的日本近代史人物形象,以及他们的坚定信念,对“安政大狱”、“樱田门之变”等重大历史事件的描述详实生动,是一部了解近代日本不可多得的佳作。
  • 主母无心

    主母无心

    成功人士是变态的,成功人士的老婆是更变态的,这样才能打倒变态。这是一个变态老公勤勤恳恳培养变态老婆来打压自己的故事。前世:她叫安怡,身为间谍死于非命,因为造杀孽过多被发配到阿鼻地狱永世不得超生,但她心理是坚强的,灵魂是强大的,在受苦之余不遗馀力的利用八方资源贿赂各方地府官员。在她百年来不懈的努力中,官吏和小鬼牵了姻缘,女鬼和男鬼暗通曲款,麻将扑克风行,白天搭伙扎金花砌长城,晚上结伴偷香火,油锅改成了舞池,刑具束之高阁,阿鼻地狱被搅和的乌烟瘴气。她被踢回人间,阎罗王向她保证她绝对长命百岁九九轮回永世为人。死的时候千万不要回地府喝孟婆汤,赶紧投胎永远不见。今生:皇族郡主章无心,懦弱胆小,为了逃避嫁给江湖魔头自杀身亡,再睁眼安怡成了章无心。她阴险狡诈,心狠手辣,为达目的不择手段,更嫁于了江湖魔头成为当家主母。简介:她用她身边的一碗肉换了他一条命。他就用一生的付出来换她一辈子的幸福。他爱她,所以他处处挖坑设计陷阱让她跳,这样她才明白敌人就在身边。他宠她,所以他常常推她跳万丈悬崖,这样她才明白高处不胜寒的道理。他恋她,所以他时时带兵灭国,因为国君肖想她,这样她才明白红颜是祸水,祸水只有他这个祸害配。
  • 三国鸿蒙道

    三国鸿蒙道

    洪荒初年,动乱不堪,爆发了洪荒之难,龙凤初劫两大灾难,后巫妖争斗不休,妖帝帝俊,妖皇东皇太一和十二祖巫双双身陨,洪荒破乱不开,鸿钧道祖现,修补洪荒大地。
  • 大傻

    大傻

    方达明,在文学期刊发表中短篇小说几十篇。短篇小说《出走》获第八届美国新语丝文学奖三等奖。小说《婶婶》获第九届美国新语丝文学奖,短篇小说《我的土豆》获第四届林语堂文学创作奖。短篇小说《气球》获台湾第33届联合报文学奖小说评审奖。
  • 居士林的阿辽沙

    居士林的阿辽沙

    《居士林的阿辽沙》主要内容包括:妓与侠、夜与港湾、开局、山河寂寞、市场街的诗人们、芜城、裸谷、俄狄浦斯在深圳、晁盖之死、《易经》与考夫曼先生、绛衣人、蛊舞、敌档、少将与中尉、忧郁的布鲁斯等。
  • 爱情离我三厘米

    爱情离我三厘米

    本书里面那个可爱的女生李薇拉和可爱的男生宁不悔是多么令人忍俊不禁的一对同桌,不仅让每个人都会不由的回想起自己曾经和他(她)的同桌时光,也是如此这般的美好有趣,或亦欢欣雀跃。这本书中有很多悬疑的地方,作者总是在适当的时候丢些疑问,让人越看越爱看,一步一步细致的看下去,欲罢不能。
  • 把沉睡的时光摇醒

    把沉睡的时光摇醒

    《把沉睡的时光摇醒》精选了梭罗、海明威、罗斯金、莫里斯、里尔克、笛福、兰姆、马克·吐温、托尔斯泰、毛姆、戴克、怀特、艾默生等50多位全球公认的文学巨匠,近百篇最美的散文,100多幅精美插画。全书精致雅美,传承名家之灵气,有如万般激流在心中翻涌,又似气吞山河的力量,抑或万物如谜般沉默静美,给人无限的想象和心灵滋养。