[Airflow] airflow 가상환경 python 버전 참조 오류

📌 나의 문제 상황

vscode에서 가상환경을 활성화하고 airflow 서버와 스케쥴을 실행하고 airflow 관련한 설정을 변경하거나 dag을 추가해도 airflow UI에 반영이 하나도 안되었다. scheduler를 실행했는데도 'scheduler이 작동하고 있지 않다'는 문구만 계속 떴다.

 

📌 문제 원인

나는 airflow 2.6.3을 설치했다. Airflow 2.6.3 → Python 3.7, 3.8, 3.9, 3.10 지원한다.

나의 .venv 폴더에 있는 pyvenv.cfg은 다음과 같이 설정되어 있었다.

home = /path/to/project/.pyenv/versions/3.10.13/bin
include-system-site-packages = false
version = 3.10.13

airflow 2.6.3은 python 3.10을 지원하므로 문제될게 없었다.

 

문제는 pyvenv.cfg의 python version은 3.10.13으로 되어있는데 명령어 python -V을 통해 python 버전을 확인하면 3.11.7이 나온다는 것이였다. 의도대로면 3.10.13이 나와야 한다.

$ python -V
Python 3.11.7

 

가상환경 .venv의 Python 실행 파일이 어떤 경로를 가리키는지 확인해보기 위해 다음 명령어를 작성해 보았다. 

$ ls -l /path/to/project/.venv/bin/python

 

출력 결과는 다음과 같다.

lrwxr-xr-x  1 username staff  20 Dec 16 11:00 /path/to/project/.venv/bin/python -> /opt/anaconda3/bin/python

 

.venv/bin/python이 심볼릭 링크로 설정되어 있고, 실제 Python 실행 파일이 /opt/anaconda3/bin/python을 가리키고 있다는 것을 의미한다.

 

심볼릭 링크를 통해 다른 Python(예: Anaconda Python 3.11.7)을 가리키고 있어서, 가상환경이 의도한 버전과 다르게 동작한 것이다.

 

.venv 생성 시 잘못된 Python 버전이 참조되었는지 확인봐야겠다.

 

📌 해결 방안

심볼릭 링크를 통해 다른 파이썬 버전을 가리키지 않도록 .venv 폴더를 지우고 

$ python -m venv .venv

위의 명령어를 통해 venv 가상 환경을 다시 생성했다.

 

생성 후 python -V를 확인하니, pyvenv.cfg와 동일하게 3.10.13이 나왔고, 이후 동작은 정상적으로 이루어졌다.

 

$ ls -l /path/to/project/.venv/bin/python

위 명령어를 통해 확인한 결과 아래와 같은 출력값이 나왔다.

 

lrwxr-xr-x  1 username staff  20 Dec 16 11:00 /path/to/project/.venv/bin/python -> /path/to/.pyenv/versions/3.10.13/bin/python

 

.venv는 의도한 대로 Python 3.10.13 버전을 참조하고 있으므로 문제가 없는 상태이다.

실제로 Pyenv가 관리하는 Python 3.10.13 버전을 참조하도록 연결되어 있는 것을 확인할 수 있었다.

 

Airflow 2.6.3과 호환되므로 정상적으로 작동하였다.

 

📌 참고

airflow 2.7.0부터 python 3.11을 호환한다.

https://airflow.apache.org/docs/apache-airflow/stable/release_notes.html#airflow-2-7-0-2023-08-18

Release Notes — Airflow Documentation