【为什麽我们要挑选这篇文章】由工程师转换到数据分析领域,许多人第一个面临的困难就是荒废了演算法技能、工作变成每天都在制作报表,但如何在这个岗位有更大的发挥,制作出让老板眼晴为之一亮的报表呢?让我们来看看过来人怎麽说。(责任编辑:吕珈宁)
原创 IT 技术管理那些事儿。看到文末,你不会对这篇超实用的文章失望的。我是一名演算法工程师,在某个大工厂工作….
但是工作了大半年,我发现我的演算法技能没有增加多少,反而 SQL 的水平提高了很多,因为一天到晚都在写,感觉自己就是一个 BI 报表哥,而且我还经常安慰自己:业务第一,取数要紧…
虽然总不能把代码叫数据探勘,用 SQL,Excel 叫数据分析,只要能解决问题就好,但我的心里总是过意不去,我一演算法工程师为什麽会去做报表?
同样的,我发现别人也有这样的问题:
同样的,也会有人怀疑 BI、报表这个岗位的未来在哪里:
以前做大数据平台还好,也可以上手弄 Hadoop、Spark、Storm、Flink 以及 Kafka 等集群,但是做了 BI 和报表之後,除了 SQL 和 ETL,我什麽也做不了。
其实这件事很好解决,不能看你的 title,这个岗位分化极大,而是看你想完成什麽事情,以什麽手段去完成这些事情。
我曾经也在大型企业搭建过数据中心,从专案规划到技术选型都投入很大精力,日吞吐上千个 G,存量达到 2 个 pb,刚开始也经常被业务喷,现在得到了认可。
我是从哪几个方面去做的呢?
1、规划专案架构
我们需要在每个时间段规划出这个专案所要达成的目标,比如一开始是手工报表,那我们有了数据仓库和大数据平台之後,就应该变成自动化的报表。
有了 Hadoop 之後,我们的目标应该是 OLAP 分析,规划做大一点总是对的。这里的框架主要聚焦於企业内部,对於企业内的不同团队、部门乃至於子公司,打通期间的数字藩篱,让数据在企业内部以同样的标准流动起来。…