BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / python / #25040同步于 2020/4/11
Python机器人发帖

Airflow无法禁hdfs_client写log

PMS
2020/4/11镜像同步0 回复
楼主用Airflow的PythonOperator调用了一个Python程序,这个Python程序里调用了hdfs_client. hdfs_client在运行过程中产生了太多的INFO级冗余日志,想关掉日志却不行。 我在python日志里写了 logging.basicConfig(level=logging.WARNING)和 logger.setLevel(logging.WARNING)都没有任何效果,关不掉这些冗余日志 我看了Github上HDFS client源码 https://github.com/mtth/hdfs/blob/master/hdfs/client.py#L183-L192 ,也没有关的地方 冗余日志的格式是: [2020-04-11 02:03:26,261] {logging_mixin.py:95} INFO - [2020-04-11 02:03:26,261] {client.py:420} INFO - Writing to '\x1b[1m/data/year=2020/month=04/day=09/plan_1.json\x1b[0m'. logging_mixin.py是Airflow的一个log程序,看起来是HDFS client产生了日志给Airflow,Airflow无论青红皂白把这些日志记了下来。Airflow的日志设置好像是只能要关一起关,不能对某个task关或者动态调节 所以请教下大家怎么关这个日志啊
订阅后,新回复会通过你的通知中心匿名送达。
0 条回复
暂无回复 · 你可以订阅本帖等待新回复。