ITEEDU

编程学习网


  • 首页

  • 标签

  • 分类

  • 归档

  • 关于

  • 旧站归档

  • 搜索

spark任务设置日志输出

发表于 2018-07-31 更新于 2019-06-29 分类于 大数据 , spark

spark默认输出的日志内容太多,可以设置集群日志输出级别为warn,但这样自己写的程序输出日志也会是warn,info日志一般还是很有必要的。

可以在spark-submit命令上添加参数,来设置提交任务的日志输出级别:

spark-submit ... --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:///<全路径>/log4j.properties" job.jar

log4j.properties名称也可以是log4j.xml。

为了查这个参数费了好多时间,这里mark一下。

证心 微信支付

微信支付

# 大数据 # spark
MAVEN pom.xml 详解
azkaban集群任务执行状态status一直为:Preparing

证心

367 日志
45 分类
78 标签
GitHub 微博
京ICP备16069454号 © 2020 证心