我在传统行业做大数据开发工程师

从业者：林晓晴

从业年限：2年

从业地点：广州

一句话感受：我们的使命是挖掘数据的最大价值

对口专业：应用数学、软件工程、计算机科学与技术、信息管理与信息系统等

从业门槛：本科及以上学历

晋升路径：大数据开发工程师→高级大数据开发工程师→数据架构主管→大数据架构师

薪资水平：10万—15万元/年

入职提醒：大数据开发对技术要求比较高，特别是在数据库方面，需要精通各类常用的数据库软件

你了解大数据吗？

想必大家对“大数据”这个名词并不陌生，但要说起大数据相关工作具体是做什么的，很多人就不清楚了，甚至以为这个职业只存在于互联网大厂中。现在，就让我这个传统制造业的大数据开发工程师给大家介绍一下这个职业吧！

从不同的维度和视角来看，大数据是一种技术、一种产业、一种资源，是一种理念和一种思维方式，也可以说是一个时代。如今大数据已经融入经济社会发展的方方面面，许多工作都可以用大数据理念来指导。比如我们日常生活中涉及的一些服务，包括快递、外卖、共享单车等，都用到了大数据技术；还有近段时间火遍全网的ChatGPT，也是大数据技术的运用和延伸。可以毫不夸张地说，大数据与我们的日常生活有着千丝万缕的联系，从衣食住行，到金融理财，还有我们的制造业，都可以瞧见它的身影。

“大数据人”的一天

虽然身处制造业，但我们“大数据人”的一天基本上也都围绕“大数据”展开工作。每周一上午，按照惯例，我们部门会开例会，部门经理会根据各个项目的情况，为每个项目组分配本周的工作任务。我们大数据组的工作主要分为三大块：一块是大数据日常开发迭代工作，另一块是大数据重点项目的开发工作，还有一块是大数据相关软件的日常运维工作。

我的职位是大数据开发工程师，主要工作是负责大数据仓库和模型的建设，参与大数据项目中的数据采集、加工，维护大数据平台的稳定。具体点说，就是根据公司的业务需求，从各大业务系统中抽取相应的数据，对其进行加工、分析，再制作出业务所需的报表。由于我们公司所在的行业是制造业，因此我们的工作涉及许多与制造业相关的系统，比如仓储物流系统WMS、工厂制造执行系统MES……我需要从这些业务系统中抽取数据，制作生产数据看板，实时监控生产状况，让企业相关业务管理人员能够清晰地了解各个车间的产能和生产状况、货物的发运情况，从而及时地发现问题、解决问题，提高公司的生产效率，推动公司业务的发展。

一般来说，我们大数据开发工程师接触较多的工作是写SQL。SQL即Structured Query Language（结构化查询语言）的简称，是一种数据库查询和程序设计语言，主要用于存取数据以及查询、更新和管理关系数据库管理系统。写SQL是一件非常令人头疼的事情，因为我们日常工作中会面对各种类型的数据库，也就会面对不同的数据库语言，虽然其语法大致一样，但所用到的函数有可能会不一样，所以要格外注意。我就犯过好几次类似的错误，因没有注意到函数的差别，导致排查不出数据的问题。

此外，在做项目需求的时候，一定要加强沟通，存在疑惑时，也一定要与需求提出方沟通清楚，确定清楚后再开始执行。要知道，每个人对需求的理解都存在差异，比如我们理解的是A，而需求提出方想要的可能是B。

向优秀的“大数据人”进阶

如何成为一名优秀的大数据开发工程师，这也是我一直在思考的问题。

目前我的工作大部分还停留在写SQL、制作报表上，对大数据框架的建构方面涉及较少，在基础开发语言的掌握方面较为薄弱，看不懂大数据框架的相关代码。但从技术层面来说，大数据开发工程师也属于软件开发人员，需要有一定的编码能力。为此，领导特地找了开发人员对我们大数据开发项目组进行基础语言的培训。若想让自己的工作能力得到进一步提升，我们还需要精通一些常用的算法模型，这样才能在面对海量的非结构化数据时，通过规划算法与编写程序去挖掘出有价值的数据。因此，我们需要不断地充实自己，比如可以多加入几个技术群，遇到问题时多向技术“大牛”请教。

从业务层面来说，大数据开发工程师要具备相关行业的业务知识，熟悉各自行业的业务指标和业务术语，毕竟大数据的最终目标是服务社会和企业。

从技术层面来说，大数据开发工程师需要掌握常用的数据库以及数据可视化工具的使用，还需要掌握Java、python等基础编程语言。

此外，从业者也可以利用网络上的资源，如博客园、CSDN（中国专业IT社区）、多逛技术论坛等，参考行业前辈的学习路线和方法，并结合自己的实际情况，规划学习周期，实现量变到质变的飞跃。

需要注意的是，大数据开发工程师一定要培养自己的语言表达能力和书面表达能力。在此再次提醒大家，大数据开发工程师的工作可不是单纯写SQL、写代码、做报表而已。

想成为大数据开发工程师吗？

大数据相关职位对学历与技术的要求比较高，一般来说，从业者需要具备本科及以上学历，需要具备数据挖掘与数据分析等相关专业能力，这也要求从业者具备良好的学习能力。大数据开发行业目前正蓬勃发展，相关技术体系也非常庞大，对初学者而言具有一定的挑战性。因此，想从事大数据行业的同学一定要做好不断学习的思想准备，最好提前做好学习计划，找到适合自己的学习方法。

一般来说，大数据入门学习即大数据开发技术的学习可以分成三个阶段：第一个阶段是编程基础语言的学习，第二个阶段是算法相关基础知识的学习，第三个阶段是结合相应场景进行实际运用。在学习过程中，兴趣是最重要的动力源，因此在入门学习时，同学们最好结合自身的基础以及感兴趣的方向，为自己制定初步的學习路线。之后，我们就可以深耕大数据行业，为企业和社会发展贡献自己的智慧啦！

后记

目前我国的大数据行业迎来了新的发展机遇，产业规模日趋成熟。2014年，“大数据”首次被写进我国政府工作报告，大数据产业首次上升至国家战略层面，国家大数据综合试验区如雨后春笋般在全国各地建立起来。同时，相关政策与标准体系也在不断完善。

总而言之，大数据在未来的就业舞台还是非常广阔的，是一个比较热门的就业方向。所以，想从事大数据行业的同学，请努力加油吧！