数据架构师,数据库开发人员,数据工程师和ETL开发人员之间有什么区别?


回答 1:

都是个人组织和传统方式定义的名称和角色。 让我回答这些角色的传统角色和责任以及现在发生的情况:

ETL开发人员-编写ETL作业的数据映射和转换,工作流和流程的人,主要是从Informatica,PL / SQL,Datastage,ODI,Ab Initio等工具开始的

数据库开发人员-谁编写SQL,PL / SQL,存储过程,触发器以在数据库和Shell脚本内执行特定作业并通过Scheduler或CRON作业运行

数据架构师-为组织设计数据模型,体系结构,数据管理策略; 通常用于整个行业的任何数据管理工具

当前术语是数据工程师-谁是从各种来源(结构化或非结构化),各种类型的数据格式,卷和速度中获取数据并将数据存储到大数据平台/数据湖平台(关系或Hadoop平台)方面的专家或任何其他方式),使用ETL /开源执行数据集成,确保数据质量以及实时数据管理和共享的计划。 这是组织分析平台中60-70%的工作。

希望这能清除


回答 2:

数据架构师设计从源到目的地的消息的端到端流。使用哪种协议,要考虑哪些安全功能,所有NFR(如高可用性,DR等),由架构师决定。

数据库开发人员负责创建数据库,表,方案等,以及访问限制,维护等。

当数据很大时,数据工程师管理从源到目的地的数据流。 他们利用分布式计算功能(例如hadoop上的火花)来处理大数据的流入,以及清理,转换和存储在hdfs,数据库中。

ETL开发人员使用先进的行业标准工具(如abinitio,datastage)从工业中提取标准数据,将其转换为所需的结构,然后将其加载到特定的目标。