OurJS


OurJS-我们的JS, 我们的技术-IT文摘; 专注JS相关领域;
我们热爱编程, 我们热爱技术;我们是高大上, 有品味的码农;

欢迎您订阅我们的技术周刊


我们会向您分享我们精心收集整理的,最新的行业资讯,技术动态,外文翻译,热点文章;
我们使用第三方邮件列表向您推送,我们不保存您的任何个人资料,注重您的隐私,您可以随时退订,

欢迎分享您的观点,经验,技巧,心得

让我们一起找寻程序员的快乐,探索技术, 发现IT人生的乐趣;


本网站使用缓存技术每次加载仅需很小流量, 可在手机中流畅浏览;
如果您发现任何BUG,请即时告知我们: ourjs(at)ourjs.com

别老扯什么Hadoop了,你的数据根本不够大


分享到


分类 我要吐嘈   发布 ourjs  1379547491000
注意 转载须保留原文链接,译文链接,作者译者等信息。  

“你有多少大数据和Hadoop的经验?”他们问我。我一直在用Hadoop,但很少处理几TB以上的任务。我基本上只是一个大数据新手——知道概念,写过代码,但是没有大规模经验。
他们给我一个U盘,里面有所有的数据,600MB,对,他们所有的数据。不知道为什么,我用pandas.read_csv(Pandas是一种Python数据分析库)而不是Hadoop完成了这个任务后,他们显得很不满意。
Hadoop里,所有计算都必须按照一个map、一个group by、一个aggregate或者这种计算序列来写。这和穿上紧身衣一样,多憋得慌啊。许多计算用其他模型其实更适合。忍受紧身衣的唯一原因就是,可以扩展到极大极大的数据集。可你的数据集实际上很可能根本远远够不上那个数量级。
可是呢,因为Hadoop和大数据是热词,世界有一半的人都想穿上紧身衣,即使他们根本不需要。

原文地址: 点此
社区评论 ( Beta版 )
OnceDoc 您自己的企业内容管理系统——文档、流程、知识库、报表、网盘All In One

访问404页面,寻找丢失儿童
 热门文章 - 分享最多
  1. Node.js 编程的未来
  2. 站着编程两年后我身体上的变化
  3. 一句命令快速合并 JS、CSS
  4. 最新研究:在手机上,Data-url和CSS Sprites哪一个更快?
  5. Github上最热门的语言
  6. 为什么微软帝国需要解散
  7. NodeJS即将超越Ruby, 正在悄悄改变开源面貌
  8. PaaS乱局:Container的新机遇
  9. 周鸿祎:我做天使投资几个心得
  10. 如何更好用业余时间做互联网创业?
  11. 用 OnceAir 搭建个人Git/Svn/照片备份服务器,每年电费7块钱

 相关阅读 - 我要吐嘈
  1. 前Google员工们的吐槽:在Google打工所能遇到的最坏事
  2. 对于现代开发来说,JavaScript就是一种垃圾语言
  3. 我快成为了我一直讨厌的那种人
  4. 如此架构,泛滥架构,疯狂架构
  5. 亲爱的项目经理,我恨你
  6. 真的没必要浪费心思在 Go 语言上
  7. 别老扯什么Hadoop了,你的数据根本不够大
  8. 总结程序员各种致命土鳖穿着
  9. 关于 Internals 的闲话[php]

 欢迎订阅 - 技术周刊

我们热爱编程, 我们热爱技术; 我们是高端, 大气, 上档次, 有品味, 时刻需要和国际接轨的码农; 欢迎您订阅我们的技术周刊; 您只需要在右上角输入您的邮箱即可; 我们注重您的隐私,您可以随时退订.
加入我们吧! 让我们一起找寻码农的快乐,探索技术, 发现IT人生的乐趣;


 关注我们

我们的微信公众号: ourjs-com
打开微信扫一扫即可关注我们:
IT文摘-程序员(码农)技术周刊

ourjs官方微信号