侵权投诉

当前位置:

OFweek仪器仪表网

正文

在大数据时代 每家公司都要组建大数据部门吗?

导读: 在大数据时代 每家公司都要有大数据部门吗?如果这个问题换做是:在电气时代,每家公司都要有个发电厂吗?是不是会更好回答一些?

  在大数据时代 每家公司都要有大数据部门吗?如果这个问题换做是:在电气时代,每家公司都要有个发电厂吗?是不是会更好回答一些?

  事实上每一种重大技术的出现,都会对产业产生大的变化。在蒸汽时代,采矿机采用蒸汽机后,会带来生产效率的极大提升,而轮船加上蒸汽机,再也不需要靠风才能航海了。在电气时代,电灯代替了蜡烛,电报代替了快马送信,而报纸也被广播和电视所侵蚀。

  可以说是现有产业加上新技术,形成了新产业。

  我们回过头来看这两次工业革命,生产蒸汽机的企业只有少量几家,而发电的企业在美国也只有通用电气和西屋电气。并不是每家企业都要从事这些基础设施的研发和生产,更多的是对新技术加以应用,发挥新技术带来的价值。

  在IT领域,软件刚出来时,可以说是计算和存储完全混杂在一起。有人尝试将计算硬件进行分离,歪打正着成就了Intel。有人尝试将存储系统分离,因而有了Oracle。

  Intel和Oracle固然伟大,但它们的价值更多的还在于有广大的企业采用了这些新的技术,在具体的行业中,产生了更大的价值。

  同样,云计算这种理念固然是好,但如果每家企业都建立自己的云计算中心,从资金和人力投入上,一定是不划算的,更严重的问题是做不到最优。相反,有了AWS和阿里云这样的云计算提供商,让中小企业更便捷的进行创新应用。

  回到题目中的问题,在大数据时代,每家公司都要有自己的大数据部门吗?结论也不能下的太武断。

  早在2008年,云计算的概念刚刚兴起,百度内部出现了两拨势力。一拨要从零开始打造自己的大数据底层技术,把MapReduce、GFS、BigTable这些组件都要实现一遍,结果花了两三年时间,也没能稳定运行。

  而另外一拨势力,直接采纳开源的Hadoop生态,很快在公司内应用起来。而我当时做的日志统计平台,也是采用了Hadoop。但百度的数据规模毕竟太大了,所需的集群规模,开源版本根本撑不住,于是不得不改写Hadoop,这样就和开源的版本渐行渐远,等到后来再也合不到一起了。

  曾经有一年多的时间,我们部门新设计和实现和底层的存储及计算系统,结果发现开源的版本也差不多实现到了同样效果。虽然许多内部的人觉得我们怎么总重复造轮子,但我明白还是需求使然,你面临的需求相对领先,但也没有领先到像Google那样提早5年。

  但对于小公司来说,则完全没必要从零开始做,还是要尽量用开源的产品。

  整个Hadoop生态,要比我2008年刚用的时候,要成熟很多。那个时候我们去拿开源的版本,编译部署,一个新手可能两周都不一定能正常的运转起来。而现在下载一个Cloudera发行版,两个小时就可以正常跑任务了。

1  2  下一页>  
声明: 本文由入驻OFweek公众平台的作者撰写,除OFweek官方账号外,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

我来说两句

(共0条评论,0人参与)

请输入评论

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

X
文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码: