전체

[Airflow] Airflow 설치 (Docker)

Airflow 릴리즈 정보 확인 : https://airflow.apache.org/announcements/Running Airflow in Docker : https://airflow.apache.org/docs/apache-airflow/2.9.0/howto/docker-compose/index.html# 1. Fetching docker-compose.yaml curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.0/docker-compose.yaml'airflow-scheduler - 스케줄러는 모든 작업(task)과 DAG를 모니터링하고, 각 작업의 종속성이 완료되면 해당 작업 인스턴스를 실행airflow-webserver - 웹서버는 ..

Dockerfile을 이용한 코드에 의한 서버 구축

도커 이미지 만들기 도커는 이미지를 만들기 위해 컨테이너의 상태를 그대로 이미지로 저장하는 단순한 방법을 사용함 예를 들어, 어떤 애플리케이션을 이미지로 만든다면, 리눅스만 설치된 컨테이너에 애플리케이션을 설치하고 그 상태를 그대로 이미지로 저장함저자 제공 sample 파일을 download $ git clone https://github.com/asashiho/dockertext2Docker 파일이란 명령에 의한 Docker 이미지의 작성 방법 (기존 방식)베이스가 되는 Docker 이미지를 바탕으로 Docker 컨테이너를 생성하고,  생성한 Docker 컨테이너 안에서 OS의 설정이나 미들웨어의 설치, 파라미터의 설치를 수동으로 수행만들어진 컨테이너에서 서버를 구축한 상태를 바탕으로 Docker 이미..

검색 증강 생성(RAG)이란?

RAG(검색 증강 생성)는 데이터베이스와 같은 기존 정보 검색 시스템의 강점과 생성형 대규모 언어 모델(LLM)의 기능을 결합한 AI 프레임워크입니다. AI는 이러한 추가 지식과 자체 언어 기술을 결합하여 사용자의 특정 니즈에 맞는 보다 정확하고 최신 상태의 텍스트를 작성할 수 있습니다. 검색 증강 생성은 어떻게 작동하나요?RAG는 생성형 AI 출력 향상에 도움이 되는 몇 가지 주요 단계로 작동합니다. 검색 및 사전 처리: RAG는 강력한 검색 알고리즘을 활용하여 웹페이지, 기술 자료, 데이터베이스와 같은 외부 데이터를 쿼리합니다. 검색된 관련 정보는 토큰화, 어간 추출, 금지어 제거 등의 사전 처리 과정을 거칩니다.생성: 사전 처리된 검색 정보가 선행 학습된 LLM에 원활하게 통합됩니다. 이러한 통합을..

[ELK] Elasticsearch SSL 인증서 발급

Elasticsearch Node (transport) SSL 인증서 설치 및 적용1. CA 인증서 생성> bin/elasticsearch-certutil ca2. CA 인증서 기반으로 인증서 생성> bin/elasticsearch-certutil cert --ca [CA인증서 파일명]3. config/elasticsearch.yml 파일 수정config/elasticsearch.yml 에서 ssl 인증서 파일 경로 변경4. elasticsearch.keystore에 인증서 비밀번호 변경(추가)> bin/elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password> bin/elasticsearch-keystore add ..

[ELK] Reindex 적용

새로운 데이터 스트림 생성PUT /_data_stream/logs-errpt-infra-test  해당 index를 새로운 데이터 스트림에 reindex 시킴POST _reindex?wait_for_completion=false{ "source": { "index": ".ds-logs-errpt-infra-2024.08.19-000012" }, "dest": { "index": "logs-errpt-infra-test", "op_type": "create" }}동일한 데이터스트림에서 reindex 시도 시 이미 존재하고 있는 index 때문에 정상적인 수행이 안됨.따라서 새로운 인덱스에 reindex를 임시로 수행op_type : create 없이 진행한다고 해도 추천하는 방법이 아님 여기서 ind..

[ELK] Logstash JDBC 설정

jdbc { jdbc_connection_string => "jdbc:postgresql://localhost:5432/test" jdbc_user => "test" jdbc_password => "test" jdbc_driver_class => "org.postgresql.Driver" jdbc_driver_library => "D:\elastic-logstash\logstash-8.10.2\lib\postgresql-42.6.0.jar" statement => "select * from pgdb12.ora_alarm_history where time > now() - interval '5 min'" jdbc_pool_timeout => 300 ..