数据工程分析师和数据工程师之间的比较 (Analytics Engineer vs. Data Engineer对比,哪个更适合你?)
篱笆老师Iris之前做过一期视频聊了聊数据分析工程师analytics engineer到底是做什么的,希望能够让更多的小伙伴了解到这个比较新的数据岗位。随着越来越多的同学们在申请工作的时候开始注意到了这个岗位,Iris会经常收到关于这个岗位的一些问题,其中大家最好奇的就是AE和DE到底有什么区别。 Iris老师曾经做过两年左右的数据工程师,之后转换方向从事analytics engineer到现在已经有一年半左右的时间。
本文中老师就要分别从职能上的区别,技能要求以及薪资状况三个方面比较一下这两个职位。希望在现在这个就业行情下,能够让大家更多的了解这个岗位,如果你对这个岗位感兴趣或者你的背景符合AE的要求的话,不妨尝试拓展一下自己的申请面。
首先从职能上来看,
Analytics engineer的服务对象主要是数据使用者,包括数据科学家、数据分析师和业务人员等。在之前讲AE到底是做什么的视频里,我也提到过AE工作的核心内容是产出可复用的和高质量的数据、指标以及分析工具,我们会根据数据使用者的需求提供不同的解决方案,可能会产出的内容包括dashboard,高质量的数据集以及业务指标metrics等等。Analytics engineer还需要和data engineer合作在数据仓库中建立ETL管道,负责从各种数据源中提取数据,并将数据产出到数据仓库中。他们需要与数据科学家、业务人员和其他团队紧密合作,以了解分析的目的和目标,以确保数据质量和准确性。
Data engineer是负责设计、建立和维护数据架构和数据仓库的工程师。他们负责管理和处理大量数据,并将其转换为可供分析和应用的格式。Data engineer需要熟练掌握多种数据处理工具和技术,例如Hadoop、Spark、Hive等等。他们需要了解数据仓库和数据湖的设计和架构,确保数据能够被正确地存储、提取和使用。
在airbnb呢,AE往往负责了解下游数据使用者对数据的要求和分析目的,用来设计数据集需要包括哪些数据以及背后的逻辑,DE则负责把逻辑落地,用scala写成数据管道从而产出最后的数据。
再举一个实际的例子,假设一个电商公司想要跟踪其在线广告的ROI。Analytics Engineer可以设计和实现一个交互式dashboard,显示每个广告系列的销售额、广告费用和ROI指标。这个仪表板可以让电商公司的市场团队和高管们更好地理解其广告活动的效果,并做出更好的商业决策。
由此可见,Analytics Engineer不仅需要深入了解公司的业务需求,还需要熟练掌握各类数据分析和可视化工具,为不同的stakeholders和项目提供不同的数据解决方案。
从技能要求上来看,
两者有一些共通的地方, Analytics engineer需要具备以下技能:
1.熟悉SQL查询语言,能够对数据库进行操作。
2.熟练使用数据可视化工具,如Tableau、Power BI等。
3.熟悉ETL流程和数据仓库的设计和架构。
4.熟悉Python等编程语言,以便在分析中使用。
5.具备团队合作和沟通的能力
6.熟悉数据管理和数据质量控制
而Data Engineer则需要更
熟悉分布式系统和大数据处理平台,例如Hadoop和Spark
熟悉SQL和其他数据查询语言
熟悉至少一种编程语言,例如Python、Java或Scala
了解数据仓库设计和数据建模
熟悉数据存储和处理技术,例如关系型数据库、NoSQL数据库、数据仓库和ETL工具
从薪资状况来看,
Analytics Engineer和Data Engineer的薪资状况都非常不错, 而且根据我的了解两者的薪资情况比较接近。我在这里推荐大家一个查看真实薪资的神器就是h1bdata.infohttps://h1bdata.info. 上面有美国工作签证申请时候用到的薪资,非常准确,不过要注意的是,网站上列出的薪资只包括底薪不包括股票,bonus等。
以美国的薪资状况为例,搜索de 2022年的记录我们可以看到,3k多个data points里,de薪资的中位数是10万美元左右,51%低于十万,37%在10-15万,13%在15万以上
AE作为一个比较新的岗位,数据点比较少,22年一共有48个数据,中位数略低于DE在9万五左右, 56%低于10万,29%在10-15万,15%在15万以上。
大家可以看到这个范围非常的款,最低少于十万,最高可以达到20万以上,具体的薪资完全取决于行业、公司,以及公司所在的地点。
总结一下,Analytics Engineer和Data En
最新评论 1
:非常棒 解释的很详细 多谢分享!