玩转大数据，程序员要知道的12种工具

wangzheng3056

本周内容十分精彩，安全、工具、数据分析、数据库图谱、数据中心新技术、存储系统Blobstore技术等一应俱全。让我们更加愉快地迎接“末日”之后的日子吧。

1.玩转大数据：程序员要知道的12种工具

在过去的几年里，很多初创公司经常都在各类项目以及开发工具等方面表现出色，为业内带来先进的数据分析能力（所以被收购价格总是一路飙升）。更值得赞赏的是，程序员们往往会使用简单的脚本开发出强大的显示效果，或者在开发过程中使用一种更简易的方式来实现数据的交付功能。

这也使得在云计算和移动应用的世界里，围绕一个简单的应用开创一个新事业比以往要容易的多。为此，在应用的开发过程中，开发者补充一些数据流势在必然。Gigaom的Derrick为开发者列举了各有千秋的12种工具（按字母排序）：1. BitDeli 2. Continuuity 3. Flurry 4. Google Prediction API 5. Infochimps 6. Keen IO 7. Kontagent 8. Mortar Data 9. Placed Analytics 10. Precog 11. Spring for Apache Hadoop 12. StatsMix。

2.Twitter的跨数据中心图片存储系统Blobstore

Google、Facebook以及Twitter这些网络巨头都面临着同样的问题：如何构建跨数据中心服务？现在数以百万计的用户开始使用Twitter来分享照片，这些都离不开Twitter图片存储系统Blobstore的支持，该系统不仅引入了新的特性和功能，而且不断提升了用户体验。据说，在开始构建Blobstore时，Twitter有三个设计目标：

• 低成本：可以大大减少花费在添加图片到Tweet中的时间和成本。
• 高性能：图片延迟保持在几十毫秒之内，同时保证每秒上千万张吞吐量的图片请求。
• 易于操作：随着Twitter基础设施的不断增长，能够扩展操作开销。
  

文章主要从工作原理、拓扑管理、Zookeeper、跨数据中心复制等方面解析了该跨数据中心的图片存储系统。比较技术，收藏慢慢分析比较合适。

3.“热水冷却”技术将主导美国国防部数据中心改造

历届国际超级计算大会(Supercomputing Conference，SC大会)都是HPC高手云集，新技术频现。今年，也没让我们失望。日前，SC2012大会之后，Datacenter knowledge创始人及主编Rich Miller发表了一篇文章：《美国国防部将用热水冷却数据中心服务器》。其内容为：美国国防部即将使用热水冷却其一个数据中心的服务器，用的将是Asetek公司的Rack CDU Liquid Cooling系统。此举极可能开创在美国国防部大规模在高密度服务器中使用液体冷却的先河，其相关效率和成本统计将会被仔细追踪和记录。

从Asetek 技术工程师Zack Fanning视频截图能看到，Rack CDU允许使用的冷水机组更少，或者根本没有。所以除了热水冷却系统之外，所有辅助设备的能耗可以降到最低。据悉，该项目预算在200万美元，需要将现有气冷却数据中心变成液体冷却数据中心，转变过程中不能存在任何破坏操作。项目完成后，美国国防部相信可以实现三个目标：1.明显降低能耗，2.提升机架和刀片服务器密度，3.从服务器流出的热水可以进行能源复用。

持续关注中。虽然热水冷却表示其成本低，但还需要数字的验证。另一方面，尽管电力等能源国内比国外成本还要高，不过在冷却方面，还是风冷一支独大。

4.访沈锡镛：阿里云与谷歌、亚马逊拥有平等的安全话语权

阿里云，中国云计算排头兵，也是云安全的新兵。近期，刚通过由BSI(英国标准协会)审核的ISO27001：2005（信息安全管理体系）认证，成为BSI在国内审核通过ISO27001的第一家云计算安全服务提供商。对于这家拥有广泛知名度，却是云安全领域不折不扣的新兵，外界对其知之甚少。为此，CSDN特别专访了阿里集团安全部安全研究中心安全专家沈锡镛，请他详细剖析了阿里云安全对国内安全现状的认知，如何做到与谷歌、亚马逊一样在国际安全标准方面的平等话语权，并详细介绍了阿里云安全模型的技术特点以及未来发展方向。没想到的是，沈锡镛说：阿里云安全已经到了厂商级。通过ISO认证，阿里云安全无论是在技术框架，还是在内部管理矩阵及管理工具和平台上，都与业务和技术做了密切的结合，敏捷开发，规范管理，可以与国际云计算巨头如谷歌和亚马逊一样拥有平等的话语权。

“一流企业做标准，二流企业做品牌，三流企业做产品”，阿里云在云安全方面希望做标准。

5.为什么说惠普、戴尔和IBM在互联网发展中站错队

英特尔CIO Diane Bryant在分析师会议上曾说：在2008年的时候，英特尔75%的服务器芯片营收来自IBM、戴尔和惠普这三个服务器制造商。而到了2012年，75%的营收由八家公司产生，而不是之前的三个。其中，最大的变化是谷歌等自己定制服务器的企业出现。

针对这样的情况，《连线》的科技作者Jason Hoffman发文称，惠普、戴尔和IBM随着互联网的高速发展正在慢慢衰落。由于庞大的数据需要处理和存储，一家公司需要的服务器数量已接近一家供应商的全部业务（这里指的是谁，大家都明白）。所以，Facebook、谷歌和亚马逊等重量级科技公司已经无法在小规模的服务器上生存（主要是因为成本）而走上了打造更快、更具扩展性和更灵活的“数据工厂”之路。

另一方面，业内也可以看到，惠普、戴尔和IBM也在转型，就看速度如何了。

6.一张图让你知道大数据的生态系统

随着这几年数据库的迅速发展，数据库产品是越来越多。面对这些新鲜的数据库，即使业内人员也会有些迷茫。所以，451 research研发总监Matthew Aslet从伦敦地铁中收获灵感，用地铁图描绘了数据库路线图的最新版。比之前广为流传的“方框”版，新版路线图加入了Akiban、NuoDB和Parelastic等新数据库成员。

这张图值得所有关注数据库的朋友们收藏。

7-8.两篇预测文章：2012世界“末日”：有经过正确的分析吗？！和云计算领域的5大变革

前者是针对12月21日末日预言的分析，出人意料的是，其居然从数据的处理和分析等方面来阐述末日是否有必要来论证？！

后者从产业的角度入手，分别展望了2013年的公共云可处理企业应用；不成则败的惠普；OpenStack是时候大放光彩了；基础设施不再局限于数据中心；软件定义的一切都没有变得更容易这五个方面。

9-14是更多信息：IBM收购大数据公司StoredIQ 推动大数据传输能力；李红：多方努力燃起IBM Power Systems新火焰；Cloudera透露Impala发行版新功能及开源计划；AWS推快照备份服务抵御宕机风险 靠谱吗？等。
来自：http://info.china.alibaba.com/detail/1083216191.html