ITEEDU

编程学习网


  • 首页

  • 标签

  • 分类

  • 归档

  • 关于

  • 旧站归档

  • 搜索

azkaban集群任务执行状态status一直为:Preparing

发表于 2018-07-31 更新于 2019-06-29 分类于 架构 , 任务调度

这问题是集群部署后发生的问题

可能原因:

  1. 在准备执行flow时,没有指定 useExecutor。
  2. 并且多个执行服务器上的内存小于6G或者CPU使用率超过了95%
  3. 当指定了useExecutor时,并且设置了内存不检查则可以执行的,小心不要写错了单词哦,也不可以吧这个int类型的留空或者字符串java.lang.NumberFormatException。
  4. 查看这个问题的原因,处理解决完上面的三个步骤

还要把MySQL中active_executing_flows表的update_time=’0’ 数据删除。

并且execution_flows表中executor_id=null的也需要删除。

在 flow params中设置”useExecutor” = EXECUTOR_ID即可。

EXECUTOR_ID为executors表的主键。

证心 微信支付

微信支付

# 大数据 # 任务调度 # azkaban
spark任务设置日志输出
azkaban集群部署方案

证心

367 日志
45 分类
78 标签
GitHub 微博
京ICP备16069454号 © 2020 证心