taskctl吧 关注:13贴子:139
  • 0回复贴,共1

etl调度工具 taskctl 6.0 调度 kettle

只看楼主收藏回复

TASKCTL中调用kettle作业,实际上是通过pan和kitchen命令去调用。每一次调用都会重新初始化kettle运行环境,这个过程占用大量的时间。并且每启动一个kettle运行环境都相当于启动一个JVM进程。每个JVM则会占用几百兆(默认设置)的内存。所以同时运行几个作业,也会消耗大量内存资源。极端情况则可能会导致kettle内存溢出,产生致命错误。
这次更新,采用直接调用kettle核心的方式来运行作业。使得调度效率大幅提高,消耗资源(不包含作业本身所耗资源)也大幅降低。并行执行多个作业也能轻松应对了。
一、安装部署:
1. 确保安装环境具备kettle程序目录
2. 下载好插件安装包taskctl-plugin-kettle_1.0.5.zip并解压至自定义安装目录
3. 进入安装目录,执行install命令。请注意windows环境需要以管理员身份运行。
4. 按照install程序的提示,确定kettle安装目录和IP及端口和资源库等信息。
5. 安装完毕后会生成cprunsoapkjb.sh (调作业)和cprunsoapktr.sh(调转换) 脚本,根据提示分别放到TASKCTL的插件目录下。
6. 执行startup命令启动插件服务,安装完毕!


IP属地:四川1楼2020-08-18 17:49回复