松鼠乐园 松鼠乐园
  • 注册
  • 登录
  • 首页
  • 快捷入口
    • Vue
    • Tensorflow
    • Springboot
    • 语言类
      • CSS
      • ES5
      • ES6
      • Go
      • Java
      • Javascript
    • 工具类
      • Git
      • 工具推荐
    • 服务器&运维
      • Centos
      • Docker
      • Linux
      • Mac
      • MySQL
      • Nginx
      • Redis
      • Windows
    • 资源类
      • 论文
      • 书籍推荐
      • 后端资源
      • 前端资源
      • html网页模板
      • 代码
    • 性能优化
    • 测试
  • 重大新闻
  • 人工智能
  • 开源项目
  • Vue2.0从零开始
  • 广场
首页 › 开源项目 › 任务管理调度系统apache-airflow:不再为定时任务的管理而发愁

任务管理调度系统apache-airflow:不再为定时任务的管理而发愁

迦娜王
3年前开源项目
1,482 0 0
对于定时任务的实现,有很多现成的框架来实现,比如Java中自带的ScheduledExecutorService或者第三方框架Quartz,还有Python中的crontab、APSScheduler等等,但是这些定时任务多了起来后,管理就是一个问题,那么就有这样一个系统,专门用来管理和调度这些定时任务,他就是apache-airflow。
任务管理调度系统apache-airflow:不再为定时任务的管理而发愁
Airflow是一个可编程,调度和监控的工作流平台,基于有向无环图(DAG),airflow可以定义一组有依赖的任务,按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控,而其web管理界面同样也可以方便的管控调度任务,并且对任务运行状态进行实时监控,方便了系统的运维和管理。对于任务的执行,airflow里面提供了执行器(Executor),Airflow本身是一个综合平台,它兼容多种组件,所以在使用的时候有多种方案可以选择。比如最关键的执行器就有四种选择: 1、SequentialExecutor:单进程顺序执行任务,默认执行器,通常只用于测试 2、LocalExecutor:多进程本地执行任务 3、CeleryExecutor:分布式调度,生产常用 4、DaskExecutor :动态任务调度,主要用于数据分析 这样的大概介绍会让大家有些云里雾里,那么我们就先安装一下这个系统,然后根据安装后的使用,在详细对各个功能做介绍。 我们首先设置一下环境变量:export AIRFLOW_HOME=~/airflow,这样安装的airflow的一些配置文件或者日志目录,就以这个为主目录了!
任务管理调度系统apache-airflow:不再为定时任务的管理而发愁
由于是Python环境,就使用pip install apache-airflow来安装:
任务管理调度系统apache-airflow:不再为定时任务的管理而发愁
这样airflow就安装到本地了,我们可以使用airflow initdb来初始化:
任务管理调度系统apache-airflow:不再为定时任务的管理而发愁
这样就在我们刚才配置的主目录里面,有了配置文件和一个初始化的db文件,这个文件就是sqlite产生的数据库文件,airflow内置了sqlite数据库:
任务管理调度系统apache-airflow:不再为定时任务的管理而发愁
可以使用命令:airflow webserver来启动这个服务,-p参数可以指定启动的端口号:
任务管理调度系统apache-airflow:不再为定时任务的管理而发愁
这样我们就可以在浏览器中输入http://0.0.0.0:8080来访问它提供的优美的UI界面:
任务管理调度系统apache-airflow:不再为定时任务的管理而发愁
上面的黄色提示是没有启动sheduler,也就是任务调度的服务,scheduler 是一个守护进程,它周期性地轮询任务的调度计划,以确定是否触发任务执行。启动这个服务,可以使用airflow scheduler命令来启动:
任务管理调度系统apache-airflow:不再为定时任务的管理而发愁
这样那个黄色提示信息就消失了:
任务管理调度系统apache-airflow:不再为定时任务的管理而发愁
这样的UI界面给我们提供了丰富的信息,包括定时任务的列表,执行情况及任务之间的依赖情况等等,功能强大到让你不再为成百上千个定时任务的管理而发愁,先来学着安装一下吧!
apache-airflow 定时任务
0
第二代官方微信小程序"松果球"破茧成蝶!
上一篇
很高兴!终于踩到了慢查询的坑
下一篇
评论 (0)

请登录以参与评论。

现在登录
聚合文章
Servicios profesionales Organizaciones
1年前
在Gitee收获近 5k Star,更新后的Vue版RuoYi有哪些新变化?
1年前
vue3.x reactive、effect、computed、watch依赖关系及实现原理
1年前
Vue 3 新特性:在 Composition API 中使用 CSS Modules
1年前
标签
AI AI项目 css docker Drone Elaticsearch es5 es6 Geometry Go gru java Javascript jenkins lstm mysql mysql优化 mysql地理位置索引 mysql索引 mysql规范 mysql设计 mysql配置文件 mysql面试题 mysql高可用 nginx Redis redis性能 rnn SpringBoot Tensorflow tensorflow2.0 UI设计 vue vue3.0 vue原理 whistle ZooKeeper 开源项目 抓包工具 日志输出 机器学习 深度学习 神经网络 论文 面试题
相关文章
「开源」10个优秀的SpringBoot项目,总有你喜欢的
vue-实用的几个vue开源库
10 个实用的 Vue.js 工具和库
推荐21个顶级的Vue UI库!
松鼠乐园

资源整合,创造价值

小伙伴
墨魇博客 无同创意
目录
重大新闻 Centos CSS Docker ES5 ES6 Go Java Javascript Linux Mac MySQL Nginx Redis Springboot Tensorflow Vue Vue2.x从零开始 Windows 书籍推荐 人工智能 前端资源 后端资源 壁纸 开源项目 测试 论文
Copyright © 2018-2022 松鼠乐园. Designed by nicetheme. 浙ICP备15039601号-4
  • 重大新闻
  • Centos
  • CSS
  • Docker
  • ES5
  • ES6
  • Go
  • Java
  • Javascript
  • Linux
  • Mac
  • MySQL
  • Nginx
  • Redis
  • Springboot
  • Tensorflow
  • Vue
  • Vue2.x从零开始
  • Windows
  • 书籍推荐
  • 人工智能
  • 前端资源
  • 后端资源
  • 壁纸
  • 开源项目
  • 测试
  • 论文
热门搜索
  • jetson nano
  • vue
  • java
  • mysql
  • 人工智能
  • 人脸识别
迦娜王
坚持才有希望
1224 文章
35 评论
242 喜欢
  • 0
  • 0
  • Top