행궁동 데이터 엔지니어

데이터사이언스/Airflow → (4)건

적은 리소스로 Airflow 설치하기 (LocalExecutor, Docker)

부제: Running Airflow in Docker (LocalExecutor) 기대 효과: Airflow를 적은 리소스로 실행할 수 있다. CeleryExecutor보다 가벼운 LocalExecutor로 Airflow를 Docker 환경에서 실행함 사전 필요사항 공식 문서를 따라서 Docker, Docker-compose 설치 링크: https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html 본문 개요 Airflow는 공식문서(위의 사전 필요사항 링크)에서 CeleryExecutor로 Docker 환경 위에 Airflow를 실행하는 방법을 제공합니다. 공식 문서를 따라 docker-compose.yml 파일을 다운로드하고 dock..
데이터사이언스/Airflow 2022. 8. 8. 00:02

[Airflow] Docker로 Airflow 설치 시 기본 패스워드 변경

Airflow 공식문서에서 제공하는 Quick Start 중 도커로 Airflow 실행(Running Airflow in Docker) 시 관리자 계정 패스워드를 변경하는 방법에 대한 포스팅입니다. (도커로 Airflow를 실행하면 default로 계정/패스워드가 airflow/airflow로 설정되고, 이는 Webserver에 접속해 수정할 수 있지만 보안에 취약할 수 있어 처음부터 변경해주는 것이 좋습니다.) 패스워드 변경 방법 외 설치 방법은 아래 공식문서와 공식문서를 정리한 자료 참고 부탁드립니다. 공식문서: https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html# 공식문서 정리한 자료: https://wooiljeong.g..
데이터사이언스/Airflow 2022. 2. 15. 23:38

[Airflow] Airflow log 정기적으로 삭제하기 (mtime 활용 Logrotate 설정)

Airflow를 운영하다 보면 AIRFLOW_HOME\logs 디렉터리에 많은 로그가 쌓입니다. 해당 디렉토리에 쌓이는 Log는 Dag의 Tasks 로그(execution_time 별)로 아래와 같은 내용을 담고 있습니다. Airflow 운영 기간이 길어지면 누적해서 쌓인 Tasks log의 용량이 상당히 크기 때문에 지속적으로 Log를 Rotation(회전)할 필요가 있습니다. ex. 최근 30일의 Log만 남기고 삭제한다, 최근 30일의 Log를 압축해 이관 후 기존 Log는 삭제한다. 아래에 리눅스의 find 명령어(with mtime 옵션)를 사용해서 최근 30일의 Airflow 로그만 남기는 Dag 코드 남기겠습니다. Airflow에서 최근 30일 Log만 남기기 Airflow 버전 : 2.1...
데이터사이언스/Airflow 2021. 9. 18. 18:13

[Airflow] Airflow Connections에 DB접속 정보(Oracle) 저장 및 사용 1

Airflow Connections에 DB정보를 입력해서 사용하는 방법입니다. Connections에 DB 접속 정보를 저장하면 아래와 같이 DB Operator를 Import 후 conn_id로 호출해서 사용할 수 있습니다(포스팅은 Oracle 기준으로 진행). Airflow DB Connection 사용 예시 (Airflow 1.10.13 버전) # Airflow 1.10.13 버전 기준 # Airflow 2.X 버전 : airflow.providers.oracle.operators.oracle에 OracleOperator가 있음 from airflow.operators.oracle_operator import OracleOperator # from airflow.providers.oracle.ope..
데이터사이언스/Airflow 2021. 5. 29. 14:29
◀ 1 ▶

티스토리툴바