spark默认输出的日志内容太多,可以设置集群日志输出级别为warn
,但这样自己写的程序输出日志也会是warn
,info
日志一般还是很有必要的。
可以在spark-submit
命令上添加参数,来设置提交任务的日志输出级别:
spark-submit ... --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:///<全路径>/log4j.properties" job.jar
log4j.properties
名称也可以是log4j.xml
。
为了查这个参数费了好多时间,这里mark一下。