DevOps

[Airflow] DAG 생성

https://github.com/andreax79/airflow-code-editor GitHub - andreax79/airflow-code-editor: A plugin for Apache Airflow that allows you to edit DAGs in browserA plugin for Apache Airflow that allows you to edit DAGs in browser - andreax79/airflow-code-editorgithub.com직접 마운트 된 airflow 디렉터리 ./dags 폴더에 넣어도 되지만 UI환경에서 바로 코드 수정을 할 수 있는 에디터가 존재 1. SQL을 이용한 DAG 구현 from datetime import timedeltafrom airflo..

[Airflow] SlackAPIPostOperator 설정

이전 버전에서는 SlackAPIPostOperator 메소드 내에서 token 를 입력을 했어야 했지만 직접 token 을 입력해보았을 때, 에러가 발생하고 현재는 지원하지 않는 것 같다. airflow.providers.slack.operators.slack — apache-airflow-providers-slack Documentation airflow.apache.org Post messages to a Slack channel.slack = SlackAPIPostOperator( task_id="post_hello", dag=dag, text="hello there!", channel="#random",)해결방법 : Slack API Connection을 만들어주고 BaseH..

[Airflow] Connection 연결 시 [TEST] 버튼 비활성화 해결방법

Airflow webserver Container 내의 airflow.cfg 파일에서 'test_connection = Disabled' → 'test_connection = Enabled'로 바꿔주면서 해결하면 된다.하지만 컨테이너 내부에 들어가 vi를 다운받아야 하는데 프록시 설정이 안되어 있어 apt update & apt install vim이 안되는 상황 1.docker-compose.yml 파일 내에 proxy 설정 추가 (x)airflow-webserver: 하지만 db와 통신이 안되어 'Please airflow db init' 에러가 계속 나와 진행이 안됨 2. 호스트 서버에서 airflow.cfg 파일을 옮기기docker exec -it -u root airflow-airflow-we..

[Airflow] Airflow 설치 (Docker)

Airflow 릴리즈 정보 확인 : https://airflow.apache.org/announcements/Running Airflow in Docker : https://airflow.apache.org/docs/apache-airflow/2.9.0/howto/docker-compose/index.html# 1. Fetching docker-compose.yaml curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.0/docker-compose.yaml'airflow-scheduler - 스케줄러는 모든 작업(task)과 DAG를 모니터링하고, 각 작업의 종속성이 완료되면 해당 작업 인스턴스를 실행airflow-webserver - 웹서버는 ..

Dockerfile을 이용한 코드에 의한 서버 구축

도커 이미지 만들기 도커는 이미지를 만들기 위해 컨테이너의 상태를 그대로 이미지로 저장하는 단순한 방법을 사용함 예를 들어, 어떤 애플리케이션을 이미지로 만든다면, 리눅스만 설치된 컨테이너에 애플리케이션을 설치하고 그 상태를 그대로 이미지로 저장함저자 제공 sample 파일을 download $ git clone https://github.com/asashiho/dockertext2Docker 파일이란 명령에 의한 Docker 이미지의 작성 방법 (기존 방식)베이스가 되는 Docker 이미지를 바탕으로 Docker 컨테이너를 생성하고,  생성한 Docker 컨테이너 안에서 OS의 설정이나 미들웨어의 설치, 파라미터의 설치를 수동으로 수행만들어진 컨테이너에서 서버를 구축한 상태를 바탕으로 Docker 이미..

[ELK] Elasticsearch SSL 인증서 발급

Elasticsearch Node (transport) SSL 인증서 설치 및 적용1. CA 인증서 생성> bin/elasticsearch-certutil ca2. CA 인증서 기반으로 인증서 생성> bin/elasticsearch-certutil cert --ca [CA인증서 파일명]3. config/elasticsearch.yml 파일 수정config/elasticsearch.yml 에서 ssl 인증서 파일 경로 변경4. elasticsearch.keystore에 인증서 비밀번호 변경(추가)> bin/elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password> bin/elasticsearch-keystore add ..