数据仓库详细介绍之调度
发布时间：2021-12-27 14:43:47 所属栏目：大数据 来源：互联网
导读：0x00 前言 在之前的文章，我们规划了数仓架构，制定了数仓规范，然后在架构和规范的指导下设计了存储模型、构建了 ETL 系统。 数仓模型解决了数据存储问题，ETL 解决了数据同步集成计算问题，而调度解决的是自动化问题。 我们通过配置调度去周期性定时触发执
|
0x00 前言 在之前的文章，我们规划了数仓架构，制定了数仓规范，然后在架构和规范的指导下设计了存储模型、构建了 ETL 系统。 数仓模型解决了数据存储问题，ETL 解决了数据同步集成计算问题，而调度解决的是自动化问题。 我们通过配置调度去周期性定时触发执行各种任务或流程(同步、集成、计算、校验、测试等)并监控他们的运行情况，及时、保质、自动化的满足各种数据使用需求。 最后调度还有一个附加的用途，对于新接手的维护项目，我们想要快速了解其数据流转，线上运行的调度任务就是最好的切入点了。 0x01 我接触过的调度场景 场景一、数据开发 这是一个非常热门的招聘岗位。 在之前主要是指数据库开发，大概的工作内容是基于关系型数据库(Oracle、DB2、SQL Server 等)通过写 SQL/存储过程等来实现业务需求。 大数据时代的数据开发，即大数据开发，主要是使用大数据组件实现业务需求，可以是离线计算 Hive/Spark 等，也可以是 Spark Streaming/Flink/Kafka 等。 在数据仓库场景，有叫数仓开发/ETL 开发，当然也有很多直接叫数据开发的。大数据时代很少有叫 ETL 开发了，直接就是数据仓库工程师/大数据开发工程师。 场景二、对账系统 做为一个企业，跟客户/供应商之间肯定有不少业务往来，而且很多都是通过各自的信息化系统实现的。比如通过支付宝购买电影票，每月固定日期支付宝跟影院都要进行对账。我们可以创建各种各样的对账任务，然后配置调度去周期性的拉取双方的购票数据进行比对。 场景三、DMP 人群包自动化生成 这个是我之前做过的一个系统，业务人员通过页面框选人群，系统后台自动化离线计算，人群包生成后返回通知。为防止同一时间点启动过多的计算任务，所有任务统一提交到调度中心，调度中心会根据计算资源负载来决定是执行任务还是等待。对于周期性的人群包生成需求，我们还可以配置定时任务。 场景四、Yarn 任务调度 在大数据集群，Yarn 是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。当计算任务到来时候，如果空闲资源足够则立即执行，否则就阻塞等待。  （编辑：江门站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
