气流相对导入外部/ dag目录

Question

我无法将通用代码移到气流使用的dag目录之外。我查看了airflow source，发现imp.load_source。

是否可以使用imp.load_source来加载dag目录之外的模块？在下面的例子中，这将从公共目录导入foo或bar。

── airflow_home 
    |──── dags 
    │ ├── dag_1.py 
    │ └── dag_2.py 
    ├── common 
     ├── foo.py 
     └── bar.py 

Answer 1

只需在所有3个文件夹中添加__init__.py文件即可。它应该工作。 Infact我的文件夹结构中的每个文件夹都有__init__.py。我可以运行代码并查看输出。

示例文件夹结构，可能是因为：

── airflow_home 
    ├── __init__.py 
    |──── dags 
    │ ├── __init__.py 
    │ ├── dag_1.py 
    │ └── dag_2.py 
    ├── common 
     ├── __init__.py 
     ├── foo.py 
     └── bar.py 

和dag_1.py代码可以为：

from stackoverflow.src.questions.airflow_home.common.bar import bar_test 

def main(): 
    bar_test() 

main() 

这个代码的和平我从我的pycharm运行。 在我pycharm你airflow_home的文件夹路径是stackoverflow/src/questions/airflow_home/

而且bar.py代码

def bar_test(): 
    print "bar hara"