ETL工程师主要工作流程

首先是数据的获取。这类似于巧妇难为无米之炊，想要发挥数据价值的前提是要获取数据。
下一步大概率会去做数据清洗，目前有两种情况：一种是将数据放到一个统一的ODS平台，先拉数据再做清洗。另一种是一边传输一边清洗。针对这两种情况工程师要非常明白，为达到数据目标应该采取何种措施。
最后是数据的存储。数据存储分为几级，有ODS层、数仓层、数据集市层，再往上是AI层、BI层。 关于数据存储也有很多学问，比如，在入库时需要考虑上游源系统与下游的目标系统可能是不同的（结构互异的存储）。