登陆注册
2841100000006

第6章 大数据,你还不知道的部分(4)

就像我们在现实中交换电子文档时,不一定靠U盘这种物理距离最近的方式,可能会采取MSN或腾讯QQ之类的即时通讯,因为它的速度更快、更方便,而且人们不会计较这些文件绕经网络服务器是否会被长期扫描和监测。这就是技术优势的巨大作用。

第二,数据传输诱导策略。

美国通过扩大数据传输带宽,可以诱导更多的数据流经本国,从它的家门口过,给它做一系列的数据截留分析工作大开方便之门。越多的数据流经美国,它能做的分析监测就越全面,那么它最终的收益就远远超过了风险。比如美国曾租用中国的卫星来传送数据,以提高非洲跟美国之间的带宽,就是一种付出较小风险获得较大收益的表现。

第三,控制数据通道,从其他数据源快速收集信息。

这一策略包括与电信运营商的合作和对其数据源的监控。例如,联邦政府的海外情报监听法庭要求美国电信运营商(Verizon)每天都要向国安局提交元数据--电话记录数据,包括通话双方号码、通话长度等,虽然不包括通话内容,但已经提交了大部分的个人信息。

第四,通过与民营公司和其他国家建立技术联盟来收集和控制数据。

综上,美国最早意识到了需要加强信息管理与网络安全,而加强的办法就是用政府的手去控制民营企业及其他国家的相关服务商,建立技术联盟。

1978年美国国会通过了《外国情报监视法》(FISA),1986年又通过了《电子通信隐私法》(ECPA),1994年通过了《执法通信辅助法》(CALEA),从而建立起了全方位的保障体系,联邦政府可以从容地对本国及外国进行监听监视。

最重要的部分是与技术巨头有关的,即那些控制互联网的大型公司,在《执法通信辅助法》中规定,执法机关可以根据法院监听令直接接入电信网络,启动电信运营商交换机中的监听功能。这意味着美国法律要求电信运营商等网络、通信服务者必须为政府预留一定的接口以备不时之需。

根据《华盛顿邮报》的披露,在“棱镜”计划中,一共涉及至少9家美国的IT公司,微软是在2007年9月11日第一个加入其中的,苹果公司则是在2012年10月最后一个加入的。另外还包括思科、IBM、谷歌、高通、英特尔、雅虎、脸书和甲骨文等。它们几乎垄断了全球IT产业的所有领域,包含了从硬件到软件再到服务三个层面,自然为美国政府提供了强大的技术支持。

比如,如果你的联网电脑使用英特尔公司提供的某款芯片,就会发送一个序列号到英特尔公司,这也意味着在这台电脑上运行的一些信息也可以同时一并发送过去。另外,操作系统是网络软件运行的载体,联网后我们会经常收到自动更新的提示,这意味着垄断操作系统的微软公司可以轻而易举地掌握一台电脑的网络活动。同时,由于操作系统在不断更新,微软公司通常会最早发现其系统存在的漏洞,他们向政府安全部门提供的漏洞信息,会有助于情报机构攻击那些还没有修补漏洞的计算机。

再比如,人们用雅虎邮箱发邮件,用思科的网络电话通话,用谷歌的地图标注、搜索,用脸书发布社交状态,用MSN即时通讯聊天,所有这些网络活动,都会在各大公司的服务器上留下原始数据,而且还是人们主动提供的信息,自己花钱把信息送上门。

这些公司的服务器是如此之多,它们可以向美国政府开放直接访问的后门,帮助情报部门读取数据,甚至能够全程参与国安局的监控计划。这些大数据的技术巨头,成为了政府收集信息和分析数据的绝好帮手,而这在民众毫不知情的情况下就可以完成。

海外盟友的数据来源包括澳大利亚、英国、日本、加拿大和新西兰等国家,比如著名的“五眼联盟”就是由美国、英国、加拿大、澳大利亚和新西兰五国组成,双方互通有无,协同收集数据。联盟成员甚至可以彼此监听对方国内的数据,绕开本方国内的法律禁区,然后交换数据。第五,建立尽可能多的海外非盟友“数据源”。当然,只有盟友数据源是不够的,美国还有大量的海外非盟友数据源。

比如斯诺登就透露说,为了窃取中国大陆的数据,美国采取的办法是直接在中国境内建立数据源合作伙伴。香港中文大学在1995年成立了香港互联网交换中心,它的前身为港中大连接美国的数据专线,拥有服务于全香港的网络数据交换服务器。美国在这个基础上可以方便地潜入进来,对数据进行窃取。

为数众多的黑客也是这一数据源的提供者,国安局旗下有一个叫作TAO的机构,拥有多达六百名高级黑客,来自世界各地(包括中国)。思科公司提供的设备为这项工作提前留下了后门,尽管思科强烈否认这一质疑,但随着曝光的深入,否认的声音已越来越缺乏说服力。

只要能获得海量的源源不断的数据,美国强有力的大数据存储和分析系统就可以派上用场。

第六,建设大型数据中心来保存数据。

为了保存这些海量数据,还需要一个庞大的数据库和处理中心。NSA在犹他州耗资20亿美元建立了一个大型的数据中心,足以保存5000亿G的数据,相当于全球500年的通讯量。为了实现这一目标,NSA专门开发了一个叫作Accumulo的大数据存储系统,并与相关的有军方背景的民用公司合作,开发这一系统的商用版本,来持续获取数据利益。

第七,对元数据的挖掘技术,使美国有能力构筑关联图谱。

元数据是最基本的数据单位,在移动互联网快速发展的今天,我们每个人几乎每时每刻都在产生数据。比如姓名、电话号码、邮箱地址这些都可以称为元数据,它可以拿来当作节点,把有过联系的人、号码、邮箱用线连接起来,就构成了数据和信息背后的人物关联图谱。这表明,元数据虽然单个看起来不怎么重要,但大量集中起来,却非常便于构建个体之间的关联。再比如,对电脑来说,元数据记录了一台计算机的工作环境,包括操作系统、浏览器、应用软件版本等基本信息,那么收集这些元数据,则是黑客发起网络攻击的必备步骤。对元数据的收集与分析能力,说明美国的网络监控水平已经具备了大数据时代的显著特征。有了这种对海量元数据的存储与分析能力之后,这些庞杂的信息经过超级计算机的快速运算,就能从中显露出不易察觉的规律,从而为情报部门提供有效的情报信息。在大数据时代,美国对于关联图谱的挖掘技术进展迅猛,使得从元数据中能够挖掘的隐私越来越多,简直到了无孔不入的地步。换句话说,现有的技术可以做到一切:侦测到你每天发送的短信数量、电话频率以及约会对象,并且深入地探查出你的全部生活和工作习惯,让你成为一个彻底透明的人。

一项调查显示,美国国安局拥有一个4.4万亿个节点、70万亿条相关联的图谱数据。按照全球70亿人口计算,国安局有能力为每人保存将近630种信息,可以分析出每个人多达1万种的关联。要知道,我们只需要4个时间点和位置就可以确定一个人的身份了,而且准确性已经高达95%,那么1万种呢?这一技术的先进程度已超出普通人的想象,相关的技术告诉我们,即使你已隐姓埋名、流落天涯,只要他们有这个意愿,就可以轻松地找到你,并能穷尽你的一切社会关系,甚至比你自己知道的还要多。

第八,强大的分析工具:可视化和实时查询的大数据系统。

美国国安局还拥有一套大数据可视化和实时查询系统,名字叫作BoundlessInformant。它的作用在于将监听、收集到的全球数据进行可视化和能够实时查询的分类,把不同的国家、地区用不同的颜色显示,构建出全球信息分布图。有了这样的大数据系统后,就具备了强大的分析能力,不管收集到多少数据,都可以轻松地整理、归类、分析和预测。

第九,拥有全数据挖掘技术,进行“无死角”数据收集。

美国一方面在挖掘元数据,另一方面也在发展对全数据的收集技术,争取做到数据收集无死角。像有一种叫作Narus的光纤监听设备,可以进行内容层监控,还有一种叫作爱因斯坦3号(Einstein3)的系统,可以对数十亿邮件的全文内容进行扫描。语音监听和识别也是这一工作的组成部分,对多语种的语音视频内容进行分析辨别。

第十,为全球互联网的发展提供了可能性。

我们已经很难用一个特定的词汇来形容全球互联网的结构。但它的主要构成特点我们是清楚的,一方面它就像树一样,有根、主干和枝蔓,最后连接到每一个用户;另一方面它又是平状的,具有平等和无中心的特点,每一个节点的信息都可以在全球的网络中自由流通。也就是说从信息流通来看,互联网是一个扁平的世界,但在管理上,却仍然是自上而下的结构,有骨干网络来处理、管理所有的信息。

例如在中国,163和169骨干网承担着中国80%以上的网络数据流量,它们统称为中国公用计算机互联网(CHINANET),另外还有中国教育和科研计算机网(CERNET),全国科研机构的中国科技网(CSTNET),中国金桥信息网(CHINAGBN)。它们共同组成了由上到下的中国四大骨干网络。从网络监控和攻击的角度来说,自然是从上往下更好,这有利于获取更多的信息,也拥有更大的控制权限。

从棱镜门事件我们可以看到,由于具备足够的资金、技术和不受限制的权力,较大的机构是大数据的最大受益者,它们可以窥探个体的信息和收集、预测人们的关联数据,达到控制人们需求并实现一系列组织计划的目的。要想充分防范大数据技术的滥用,就需要发挥我们每一个人的创造性,由人去主导大数据的进程,而不是成为数据可以控制的一部分。

我们每个普通人都需要参与进来,思考大数据技术的合理开发,并加入这个神奇的新时代,成为它的主人。

同类推荐
  • 每天一堂销售课

    每天一堂销售课

    销售永无止境,但成功永远有方向。你只须熟知本书所提出的八堂课:从内心开始做好自我修炼,然后在此基础上,从如何打造自我形象上、如何塑造一个成功的自我上、从语言技巧上、从如何与客户进行心理博弈上、从如何开拓人脉上、从注意细节事项上、从战术上步步为营这几个方面去努力,从内而外,由表及里地全面实现自我突破,就能在销售中立于不败之地。
  • 管理越简单越好(大全集)

    管理越简单越好(大全集)

    乱世靠有为,治世靠无为;创业靠有为,守业靠无为;管理靠有为,领导靠无为。有为与无为的辩证关系,需要在实践中进行艺术化的处理,绝没有一成不变的模式。“无为而治”的理论依据是“道”,现实依据是变“乱”为“治”;“无为而治”的主要内容是“为无为”和“无为而无不为”,具体措施是“劝管理者少干涉”和“放手、放权”。“无为而治”不但是一种治国方略,而且是一种管理境界。
  • 第一次销售就成功

    第一次销售就成功

    新入职的营销人员,对事业与人生有着美好的憧憬;有经验的营销人员,对成为销售专家有着强烈的渴望。
  • 白手打天下一百招

    白手打天下一百招

    有人对世界上的那些富豪们做过一项研究,发现在这些富豪之中,只有一小部分是继承遗产成为富人的,而95%以上都是通过白手起家的,其中包括赫赫有名的钢铁大王安德鲁·卡内基、石油大王洛克菲勒、金融巨鳄摩根、软件业皇帝比尔·盖茨、华人首富李嘉诚等。
  • 企业基本功:中小企业经营模式与管理规范大全

    企业基本功:中小企业经营模式与管理规范大全

    本书遵循实用的原则,较为全面地解答了企业经营管理中常见的难题。我们就企业如何进行经营策划、经营管理、经营运作等核心实务工作和如何处理企业经营管理中的法律事务等问题进一步展开了说明,是一本企业经营管理者手上必备的实用细节全书。一册在手,企业管理中的难题就会迎刃而解!
热门推荐
  • 风云后宫

    风云后宫

    本文已经加入了半折书价,一次性订阅全文仅需要接近3元。依蓝在潇湘有自己的圈子了,喜欢此文以及喜欢依蓝的读者朋友们可以到依蓝的圈子里去转转。也可以在那里给依蓝提出你宝贵的意见。圈子网址:http://m.pgsk.com/推荐蓝儿的另一V文《金步摇》:《金步摇》已经加入了五折特价书库一次性订阅全本只需要三块钱左右凤家,一个被诅咒的家族,凤家之子要么一生疾病缠身,要么活不过二十;而凤家之女却是一生必定为奴为婢,不得善终。解咒的唯一方法便是有凤家之女能当上皇后,手持皇后的凤印去开启一个玉符上的封印。几百年来,凤家之女一直努力着,却都没有成功。而今,已然改朝换代,新帝大选秀女。凤家之女能否如愿以偿呢?凤天舞,一个没有机会参加秀女大选的凤家之女,在被送入宫之后会有什么样的经历?太子、四皇子与她将有怎样的情感纠葛?从小便对她有着爱羡之情的蓝智轩,她们之间的又会有怎样的故事?凤天凌,原本一个单纯可爱的小女孩,在入宫之后,又变成了怎样的一个人?妒忌心极强的凤天香,在面对权势的诱惑之时,又会做出什么样的事情来呢??一个后位,三千佳丽,将是怎么一番勾心斗角?最终,后位落到谁的头上?凤家那八百年的诅咒,能就此解除吗?她们,又将会有怎么的结局呢?本文属慢热,需有耐心才行。依蓝的旧坑《傻儿相公》已经在更新了,请大家继续支持偶。*……………………………………………………………………………………………………………………………*推荐好友六月穆水的新文《钱奴》:推荐好友芸莎的新作《利雪风飞》:推荐好友毅力的新文《酷总裁的恋茶女佣》:推荐好友小狐狸的作品《律颜》:推荐好友梦幻的色彩的作品《哭泣时,不流泪》:推荐好友月满霜天的作品《残情》:推荐好友月满霜天的作品《掠心》:推荐好友花若靥的作品《盗墓俏太后》:推荐好友陌上柳絮的作品《邪魅丞相狂妄妻》:推荐好友言凌歌的作品《钦差女国舅》:推荐好友热奶茶的作品《暴君免礼》:推荐好友梦伊蝶的作品《黑道教父诱娇妻》:推荐好友雪若蓝的作品《绝色狂妄》:
  • 我们三个都是穿越来的

    我们三个都是穿越来的

    我是因为看了很多的穿越小说,也很想穿越。谁想我想想就能穿越,穿越就穿越吧,居然穿成怀孕九月的待产产妇,开玩笑嘛!人家在二十一世纪还是黄花一枚呢。这也可以接受,可是明明是丞相之女,堂堂四皇子的正牌王妃怎么会居住在这么一个几十平米得破落小院子里,她怎么混的,亏她还一身绝世武功,再是医毒双绝。哎。没关系,既然让我继承了这么多优越条件,一个王爷算得了什么?生下一对龙凤胎,居然都是穿过来的,神啊,你对我太好了吧?且看我们母子三人在古代风生水起笑料百出的古代生活吧。片段一在我走出大门时,突然转身对着轩辕心安说道:“王爷,若是哪天不幸你爱上了我,我定会让你生不如死的。”然后魅惑地一笑,潇洒地走了出去。片段二当我对着铜镜里的美人自恋地哼出不着调地歌时。“别哼了,难听死了。”一个清脆的声音响起。~~~接着一声尖叫紧跟着另一声尖叫。我用上轻功躲进了被子里.~~~"我和你一样是二十一世纪来的。”“你好,娘亲,哥哥,以后要多多指教。”来自两个婴儿的嘴里,我摸摸额头,没高烧啊。片段三“小鱼儿,我可是你孩子的爹,况且我没有写休书,你还是我的王妃。我会对你好的。”安王爷霸道地说道。“你们认识他吗?他说是你们的爹?”我问着脚边的两个孩子。“不认识,”女孩说道。“我们的爹不是埋在土里了吗?怎么他一点也不脏?”男孩问道。那个男人满头黑线。“对不起,我们不认识你。”说完拉着孩子转身就走。片段四“爹爹,这是我娘,你看漂亮吧?”南宫心乐拉着一个白衣帅哥进来问道。我无语中。“爹爹,你看我娘亲厉害吧?“南宫心馨拉着另外一个妖精似地男人走了进来。我想晕。“这才是我们的爹。”“才不是呢,这个才是”两人开始吵起来了。“我才是你们的爹。”安王爷气急地吼道。“滚一边去。”两个小孩同时说道。屋里顿时混乱之中。转头,回屋睡觉去了。推荐完结文《别哭黛玉》完结文《穿越之无泪潇湘》新文,《极品花痴》
  • 喧嚣的海洋

    喧嚣的海洋

    本书是一本奇特的海洋百科图书,翻开这本书,宛如进入了一个奇妙的海底世界。海洋世界已经不单单是一个索然无味的名词或者是完全抽象化的地理概念,而成为实实在在的看得见的图像世界。其内容深入浅出,脱去“百科全书”的沉闷,在每一个小角落里面,都有惊喜在等你发现,让专业的知识也能被偷快掌握!
  • 凰女逆天

    凰女逆天

    【已完结,放心阅读】推新书:【狂妃NO.1:尸皇逆宠小僵后】一朝重生异世大陆,她照样混得风生水起。灵宠异兽自己送上门,那她就勉强收了吧!打怪、升级、寻找身世之谜。她长相亦男亦女,一袭男装,美女为之倾倒,美男为之苦恼。他回到她身边之时,她身边花花草草多到碍眼。他霸气宣言“凰儿,今生你是跑不掉的。”“嗯,我不跑。”“真的?”“嗯,我不跑,我走。”“…………”
  • 校草和我结婚了

    校草和我结婚了

    【正文+番外已连载结束,新文《拽丫头杠上恶魔校草》也已完结】在第十一次被学校开除后,林依依被自家度蜜月去的老妈安排进了一所私立贵族学校,还被迫和全校排名NO.1的校草大帅哥同处一片屋檐下。明明全校女生眼里又拽又酷的超级大帅哥,为什么到了她这里就成了超级任性,霸道又爱吃她豆腐的幼稚小男生,不仅对她又搂又抱,还老是掐断她的桃花,威胁那些和她告白的男生,搞得她很郁闷。“校草大人,求求你放过小女子吧,你喜欢我什么我改还不成么。”你没看见身后那群如狼似虎的女生那恐怖的眼神,恨不得就要将她撕成碎片,某女生表示很头痛。
  • 我们三个都是穿越来的

    我们三个都是穿越来的

    我是因为看了很多的穿越小说,也很想穿越。谁想我想想就能穿越,穿越就穿越吧,居然穿成怀孕九月的待产产妇,开玩笑嘛!人家在二十一世纪还是黄花一枚呢。这也可以接受,可是明明是丞相之女,堂堂四皇子的正牌王妃怎么会居住在这么一个几十平米得破落小院子里,她怎么混的,亏她还一身绝世武功,再是医毒双绝。哎。没关系,既然让我继承了这么多优越条件,一个王爷算得了什么?生下一对龙凤胎,居然都是穿过来的,神啊,你对我太好了吧?且看我们母子三人在古代风生水起笑料百出的古代生活吧。片段一在我走出大门时,突然转身对着轩辕心安说道:“王爷,若是哪天不幸你爱上了我,我定会让你生不如死的。”然后魅惑地一笑,潇洒地走了出去。片段二当我对着铜镜里的美人自恋地哼出不着调地歌时。“别哼了,难听死了。”一个清脆的声音响起。~~~接着一声尖叫紧跟着另一声尖叫。我用上轻功躲进了被子里.~~~"我和你一样是二十一世纪来的。”“你好,娘亲,哥哥,以后要多多指教。”来自两个婴儿的嘴里,我摸摸额头,没高烧啊。片段三“小鱼儿,我可是你孩子的爹,况且我没有写休书,你还是我的王妃。我会对你好的。”安王爷霸道地说道。“你们认识他吗?他说是你们的爹?”我问着脚边的两个孩子。“不认识,”女孩说道。“我们的爹不是埋在土里了吗?怎么他一点也不脏?”男孩问道。那个男人满头黑线。“对不起,我们不认识你。”说完拉着孩子转身就走。片段四“爹爹,这是我娘,你看漂亮吧?”南宫心乐拉着一个白衣帅哥进来问道。我无语中。“爹爹,你看我娘亲厉害吧?“南宫心馨拉着另外一个妖精似地男人走了进来。我想晕。“这才是我们的爹。”“才不是呢,这个才是”两人开始吵起来了。“我才是你们的爹。”安王爷气急地吼道。“滚一边去。”两个小孩同时说道。屋里顿时混乱之中。转头,回屋睡觉去了。推荐完结文《别哭黛玉》完结文《穿越之无泪潇湘》新文,《极品花痴》
  • 仙劫

    仙劫

    从此逆天破命!修无上妙法,他天生废脉,左拥右抱,却意外重生成了身怀五行灵脉的天才,携美纵横天下,备受宗门弟子歧视,成就一番逆天修仙霸业!
  • 苦逼炮灰翻身记

    苦逼炮灰翻身记

    简言之,姜蜜穿越各个平行时空,先后成为了将军妻、商户妻、宦官妻、恶霸妻,让自己不被炮灰,也让他不被炮灰。
  • 希望

    希望

    希望是一种很原始的力量,它隐藏在内心的深处,激发出这种力量将得到一种全新的思想变革。国家、企业、个人都需要这种力量,这是我研究了大半辈子的课题,我的理想就是将这种力量教给每一个人,让他们能自行掌握从谷底走向巅峰的方法。
  • 嫡女棣王妃

    嫡女棣王妃

    “姨娘,夫人似乎断气了~”“哼!这么一碗药都下去了,难道她还能活着不成?”“那这······”一个年纪稍长的人朝着这位称作姨娘的人示意了一下自己手中的婴儿,似乎有些犹豫,“这好歹是个男孩,现在夫人已经死了,如果姨娘把他占为己有,然后得了这府中的中馈······”“嬷嬷?!”女子也不等她的话说完,就打断了她,“你记住了,我恨死了这个女人,她的儿子,只能随着她去,我就是以后自己生不出儿子,抱养别人的,也不会要她的。把他给我扔马桶里面溺了,对外就说一出生就死了!”猩红的嘴唇,吐出来的话却是格外的渗人。嬷嬷还想说什么,动了动嘴,却是一句话也没有说,转身朝着后面放着马桶的地方走去。却是没有发现旁边地上一个穿着有些破旧的衣服的小女孩此刻正瞪大了眼睛看着她们两。这是什么情况?自己不是被炸死了吗?怎么会······于此同时,脑中不断有记忆闪现出来,她们是自己的母亲和刚出生的弟弟啊?!不行,先救人。转头看见旁边谁绣花留下的针线跟剪刀,想到自己前世的身手,拿起一根绣花针就朝着那个嬷嬷飞了过去,却在半路上掉落下来,暗骂一声,这人是什么破身体。却引得那两个人听见动静看了过来。女人阴狠的盯着她,“你居然没有死?”微微眯起眼睛,自己的前身也是被她们弄死的了,看样子她们谁也不会放过,抓起旁边的剪刀就冲了过去。随着几声惨叫声,从此以后,府中府外都传遍了她的“美名”——凤家大小姐心肠歹毒,刺伤了府中无数的人,宛如一个疯子。