땅지원's Personal blog

Access Control 종류(ACL, RBAC, ABAC)

땅지원 — Tue, 5 Nov 2024 13:47:34 +0900

Access Control List (ACL)

사용자가 인증된 후에, 해당 사용자의 IP가 인증된 사용자 리스트(White List) 또는 차단된 사용자 리스트(Black 리스트)에 있는지에 따라 Access를 허용하거나 차단한다. 사용자 IP가 White List에 없을 경우에도 차단된다.

즉, ACL은 특정 사용자의 시스템 액세스 권한 여부를 결정하는 데 사용된다.

Role-based access control(RBAC)

사용자의 역할에 따라 액세스 권한을 부여하는 방식이다.

RBAC에서 사용자는 다른 권한을 부여받을 수 있는 여러 역할을 가질 수 있다. 예를 들어 IT회사에서의 RBAC을 다음과 같이 나눠볼 수 있다.

시스템 관리자 역할: 서버 관리, 시스템 관리
데이터베이스 관리자 역할: 데이터 베이스 관리, 복구
네트워크 관리자 역할: 네트워크 관리, 보안 설정

총 관리자는 각 권한을 부여/회수하는 것이 간단하고, 역할에 따라 어떤 권한을 갖고 있는지 쉽게 파악할 수 있다.

하지만 한계가 있다. 다음과 같은 경우를 살펴보자.
시스템 관리자가 데이터베이스의 역할도 부여받고 싶은데, 시스템 관리자의 역할이 주 업무이므로 데이터 베이스 관리 중 삭제, 복구는 불가능하도록 하고 싶다. 이럴 경우 어떻게 해야 할까?

다른 역할을 또 만들어야 한다.

시스템 & 데이터 관리자 역할: 서버 관리, 시스템 관리, 삭제 기능을 제거한 데이터 베이스관리

이때 또 네트워크 관리자 역할도 부여받는다면... 점점 역할이 많아지고 복잡해진다.

Attribute-based access control(ABAC)

역할 대신 속성을 이용하여 더 세밀하게 권한을 부여할 수 있다. 위의 RBAC의 한계를 개선할 수 있다.

속성은 사용자, 리소스, 작업, 개체, 환경 등을 설명하는 데이터다.

예를 들어, 특정 부서의 크루가 파일에 접근하려면 아래의 속성을 전부 갖고 있어야 한다.

사용자: 해당 부서 직원
리소스: 파일
동작: 읽기/쓰기
환경: 해당 부서의 컴퓨터

이처럼 여러 속성을 활용하여 권한에 대해 좀 더 세밀한 작업을 할 수 있다.
만약 읽기만 가능하도록 하고 싶으면 쓰기 속성을 제거하고, 재택에서도 되도록 하려면 재택 속성만 추가하면 된다.

ACL -> RBAC -> ABAC 순으로 점점 Coarse -> Fine으로 되는 것을 확인할 수 있다.
Fine일수록 유연해지고 세밀한 접근제어를 할 수 있지만, 그만큼 구현이 어렵고 관리포인트가 많아진다는 단점이 있다.

[React] Material UI 적용

땅지원 — Wed, 30 Oct 2024 16:32:52 +0900

React themes & templates - MUI Store

A collection of the best React templates, React dashboard, and React themes. It includes templates for dashboard, admin, landing page, e-commerce site and more.

mui.com

원하는 템플릿을 받고 해당 디렉터리에서 시작하면 된다.

npm start

https://mui.com/store/items/modernize-next-js-free-admin-template/

Modernize Next.js Free Admin Template - MUI Store

Free React Admin Dashboard made with Material UI components and React. Demo Dashboard Page Typography Page Shadow Page Login Page Register Page Sample Page

mui.com

https://mui.com/store/items/devias-kit/

https://mui.com/store/items/minimal-dashboard-free/

Minimal Free – React Admin Dashboard - MUI Store

Free React Admin Dashboard made with Material UI components and React. Pages Dashboard Users Products Posts Sign in Not found Quick start Clone the repo: git

mui.com

[React] React 시작하기

땅지원 — Wed, 30 Oct 2024 16:12:46 +0900

npm install -g create-react-app
npx create-react-app my-app

cd my-app
npm start

node_modules/ : 프로젝트에 사용되는 외부 라이브러리와 모듈이 저장되는 폴더입니다. 이러한 라이브러리와 모듈은 npm install 명령어를 통해 설치되며, package.json 파일에 명시됩니다.
public/ : 정적 파일들이 저장되는 폴더로, HTML, 이미지, 아이콘 등이 포함됩니다. 주요 파일로는 index.html이 있으며, 이는 리액트 앱의 기본 템플릿으로 사용됩니다.
src/: 애플리케이션의 소스 코드가 저장되는 폴더입니다. 이 폴더에는 컴포넌트, 스타일, 이미지 등의 파일이 포함됩니다. 주요 파일들은 다음과 같습니다.
- index.js : 리액트 앱의 진입점입니다. ReactDOM.render()를 사용하여 App 컴포넌트를 index.html에 렌더링합니다.
- App.js : 애플리케이션의 메인 컴포넌트입니다. 이 컴포넌트에서 다른 컴포넌트들을 불러와 렌더링합니다.
- App.css : App 컴포넌트의 스타일을 정의하는 CSS 파일입니다.
- App.test.js : App 컴포넌트에 대한 테스트 코드가 저장되는 파일입니다.
- serviceWorker.js : Progressive Web App(PWA) 기능을 구현하는데 사용되는 서비스 워커 파일입니다. 이 파일을 수정하여 오프라인 경험, 백그라운드 동기화 등의 기능을 구현할 수 있습니다.
package.json : 프로젝트의 메타데이터와 의존성을 담고 있는 파일입니다. 프로젝트에 사용되는 라이브러리, 모듈, 스크립트 등이 이 파일에 명시됩니다.

* npm vs npx

npm 은 노드 패키지 관리자를 뜻한다.
node.js를 설치하면 시스템에 설치된다.
Node 프로젝트의 필수 패키지 및 모듈은 npm을 사용하여 설치된다.
패키지에는 모듈에 필요한 모든 파일이 포함되어 있다.
npm 5.2.0 버전 이상부터 npm을 설치하면 자동으로 npx 가 설치된다.
즉, 새로운 패키지 관리 모듈이 아닌, npm의 5.2.0버전부터 새로 추가된 도구이다. 따라서 npm과 비교대상이 아니라, npm을 좀 더 편하게 사용하기 위해 npm 제공해주는 하나의 도구이다.
패키지를 설치하지 않고도 npm 레지스트리에서 원하는 패키지를 실행(Excute) 할 수 있다.
실행 즉, npm package runner 로써 npx는 일회용 패키지 로써 사용된다.

[Airflow] DAG 생성

땅지원 — Fri, 25 Oct 2024 10:15:50 +0900

https://github.com/andreax79/airflow-code-editor

GitHub - andreax79/airflow-code-editor: A plugin for Apache Airflow that allows you to edit DAGs in browser

A plugin for Apache Airflow that allows you to edit DAGs in browser - andreax79/airflow-code-editor

github.com

직접 마운트 된 airflow 디렉터리 ./dags 폴더에 넣어도 되지만 UI환경에서 바로 코드 수정을 할 수 있는 에디터가 존재

1. SQL을 이용한 DAG 구현

from datetime import timedelta
from airflow import DAG
import airflow.utils.dates
from urllib import request
from airflow.operators.python import PythonOperator
from airflow.operators.bash import BashOperator
from airflow.operators.dummy import DummyOperator
from airflow.providers.microsoft.mssql.operators.mssql import MsSqlOperator
from airflow.providers.postgres.operators.postgres import PostgresOperator

# dag 정의 
dag = DAG(
    dag_id = "mssql_connection",
    start_date = airflow.utils.dates.days_ago(1),
    schedule_interval=None
)

start = DummyOperator(task_id="start")
end = DummyOperator(task_id="end")

# sql 입력 
# mssql_create_sql = "CREATE TABLE airflow_test (a int)"
mssql_select_sql = "SELECT * FROM [dbo].[KT_DKT_INPUT_TRAIN]"

# mssql operator task 정의
create_table_mssql_task = MsSqlOperator(
            task_id='mssql_select_sql',
            mssql_conn_id='reco_mart',
            database='AIDO_RECO_KT',
            sql=mssql_select_sql,
            params={"table":"airflow_test"},
            dag=dag
        )

start >> create_table_mssql_task >> end

2. Pythonoperator를 이용한 DAG 구현

from pathlib import Path
from airflow import DAG
import datetime as dt
from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator
import pandas as pd

# DAG 정의
dag = DAG (
    dag_id = "01_unscheduled",
    start_date = dt.datetime(2022,4,18),
    schedule_interval="@daily" # 매일 자정 
)

fetch_events = BashOperator(
    task_id="fetch_events",
    bash_command=(
        "mkdir -p /data/events && "
        "curl -o /data/events.json http://events_api:5000/events"
    ),
    dag=dag,
)

# 파이썬 함수 정의 
def _calculate_stats(input_path,output_path):
    """
    이벤트 통계 계산하기
    """

    events = pd.read_json(input_path)
    stats = events.groupby(["date","user"]).size().reset_index()
    Path(output_path).parent.mkdir(exist_ok = True)
    stats.to_csv(output_path,index=False)

# Task 정의 - Pythonoperator 
calculate_stats = PythonOperator(
    task_id="calculate_stats",
    python_callable=_calculate_stats,
    op_kwargs = {
            "input_path":"data/events.json",
            "output_path":"data/stats.csv",
    },
    dag=dag
)

fetch_events >> calculate_stats

3. ssh operator를 이용한 ssh 연결

from airflow.providers.ssh.hooks.ssh import SSHHook
import airflow.utils.dates
from airflow import DAG
from airflow.operators.python import PythonOperator
from airflow.providers.ssh.operators.ssh import SSHOperator
from airflow.models import Variable

# DAG 정의 
dag = DAG(
    dag_id="ssh_call",
    description="sshcall",
    start_date=airflow.utils.dates.days_ago(1),
    schedule_interval=None,
)

# 원격 아이피 주소 입력 
REMOTE_BIND_IP = Variable.get('SERVER_REMOTE_BIND_IP')


# ssh_hook 정의
ssh_hook = SSHHook(ssh_conn_id=None,remote_host=REMOTE_BIND_IP,username='user',password='passwd')

# ssh_opertor 
ssh_opertor= SSHOperator(
    ssh_hook = ssh_hook,
    task_id = 'ssh_call',
    command = 'python airflow_pipeline/ssh_test.py',
    dag = dag

)

airflow api

- 외부에서 airflow 서버 내 dag 실행이 필요할 경우 사용

- airflow.cfg 파일에서 auth_backend = airflow.api.auth.backend.basic_auth 으로 수정 필요

- airflow webserver 서버 재시작 (sudo systemctl start airflow-webserver

- 호출 Url : http://서버아이피주소:8080/api/v1/dags/dagid(호출하려고 하는 dagid 입력) /dagRuns

[Airflow] SlackAPIPostOperator 설정

땅지원 — Thu, 24 Oct 2024 13:59:18 +0900

이전 버전에서는 SlackAPIPostOperator 메소드 내에서 token 를 입력을 했어야 했지만 직접 token 을 입력해보았을 때, 에러가 발생하고 현재는 지원하지 않는 것 같다.

airflow.providers.slack.operators.slack — apache-airflow-providers-slack Documentation

airflow.apache.org

Post messages to a Slack channel.

slack = SlackAPIPostOperator(
    task_id="post_hello",
    dag=dag,
    text="hello there!",
    channel="#random",
)

해결방법 : Slack API Connection을 만들어주고 BaseHook 사용

self.slack_token = BaseHook.get_connection('slack_api_default').password

slack_operator.py

from airflow.hooks.base_hook import BaseHook
from airflow.operators.slack_operator import SlackAPIPostOperator
 
class SlackAlert:
    def __init__(self, channel):
        self.slack_channel = channel
        self.slack_token = BaseHook.get_connection('slack_api_default').password
 
    def slack_fail_alert(self, context):
        alert = SlackAPIPostOperator(
            task_id='slack_failed',
            channel=self.slack_channel,
            text="""
                :red_circle: Task Failed.
                *Task*: {task} 
                *Dag*: {dag}
                *Execution Time*: {exec_date} 
                *Log Url*: {log_url}
                """.format(
                    task=context.get('task_instance').task_id,
                    dag=context.get('task_instance').dag_id,
                    exec_date=context.get('execution_date'),
                    log_url=context.get('task_instance').log_url
                    )
                  )
        return alert.execute(context=context)

test_alert.py

from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime, timedelta
 
from airflow.providers.slack.operators.slack import SlackAPIPostOperator
from airflow.providers.slack.notifications.slack import send_slack_notification
 
from slack_operator import SlackAlert
 
alert = SlackAlert('#일반-test-모니터링')
 
# DAG 기본 설정
default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2024, 10, 20),
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    'on_success_callback': alert.slack_fail_alert
}
 
# DAG 정의
dag = DAG(
    'Slack_test',
    default_args=default_args,
    description='A simple tutorial DAG',
    schedule_interval=timedelta(days=1),
)
 
# 첫 번째 Bash 작업
task1 = BashOperator(
    task_id='print_date',
    bash_command='date',
    dag=dag,
)
 
# 세 번째 Bash 작업
task2 = BashOperator(
    task_id='print_hello',
    bash_command='echo "Hello World"',
    dag=dag,
)
 
# 작업 순서 정의
task1 >> task2

[Airflow] Connection 연결 시 [TEST] 버튼 비활성화 해결방법

땅지원 — Tue, 22 Oct 2024 13:21:57 +0900

Airflow webserver Container 내의 airflow.cfg 파일에서 'test_connection = Disabled' → 'test_connection = Enabled'로 바꿔주면서 해결하면 된다.

하지만 컨테이너 내부에 들어가 vi를 다운받아야 하는데 프록시 설정이 안되어 있어 apt update & apt install vim이 안되는 상황

1.docker-compose.yml 파일 내에 proxy 설정 추가 (x)

airflow-webserver:
  <<: *airflow-common
  command: webserver
  ports:
    - "5678:8080"
  healthcheck:
    test: ["CMD", "curl", "--fail", "http://localhost:8080/health"]
    interval: 30s
    timeout: 10s
    retries: 5
    start_period: 30s
  environment:
    - HTTP_PROXY=http://
    - HTTPS_PROXY=http://
  restart: always
  depends_on:
    <<: *airflow-common-depends-on
    airflow-init:
      condition: service_completed_successfully

하지만 db와 통신이 안되어 'Please airflow db init' 에러가 계속 나와 진행이 안됨

2. 호스트 서버에서 airflow.cfg 파일을 옮기기

docker exec -it -u root airflow-airflow-webserver-1 bash
 
cat airflow.cfg
rm -rf airflow.cfg

텍스트 복사 후 호스트 서버에서 test_connection = Enabled로 수정 후 파일 생성(airflow.cfg)

docker cp airflow.cfg airflow-airflow-webserver-1:/opt/airflow


docker restart airflow-airflow-webserver-1

[Airflow] Airflow 설치 (Docker)

땅지원 — Tue, 22 Oct 2024 13:18:59 +0900

Airflow 릴리즈 정보 확인 : https://airflow.apache.org/announcements/
Running Airflow in Docker : https://airflow.apache.org/docs/apache-airflow/2.9.0/howto/docker-compose/index.html#

1. Fetching docker-compose.yaml

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.0/docker-compose.yaml'

airflow-scheduler - 스케줄러는 모든 작업(task)과 DAG를 모니터링하고, 각 작업의 종속성이 완료되면 해당 작업 인스턴스를 실행
airflow-webserver - 웹서버는 http://localhost:8080에서 사용, port 변경 가능
airflow-worker - 스케줄러가 제공하는 작업을 실행하는 워커
airflow-triggerer - Triggerer는 deferrable task(대기 가능한 작업)를 위한 이벤트 루프를 실행
airflow-init - 초기화 서비스
postgres - 메인 DB → MySQL로 바꾸는 방법 존재
redis - 스케줄러에서 워커로 메시지를 전달하는 브로커 역할

* Optionally, you can enable flower by adding --profile flower option, e.g. docker compose --profile flower up, or by explicitly specifying it on the command line e.g. docker compose up flower.
flower - The flower app for monitoring the environment. It is available at http://localhost:5555.

docker-compose.yaml 파일에서 airflow-webserver ports 부분을 변경할 수 있다.

2. Initializing Environment

컨테이너에 있는 일부 디렉터리는 마운트 되어있기 때문에 미리 폴더를 만들어줘야한다.

./dags - DAG 파일 추가
./logs - 작업 실행 및 스케줄러의 로그 저장 폴더
./config - 커스텀 로그 파서를 추가하거나 airflow_local_settings.py 파일을 추가해 클러스터 정책을 구성 가능
./plugins - 커스텀 플러그인 추가

mkdir -p ./dags ./logs ./plugins ./config
echo -e "AIRFLOW_UID=$(id -u)" > .env
cat .env
 
AIRFLOW_UID=1004

3. Initialize the database

docker compose up airflow-init

4-1. Running Airflow

docker compose up

ID : airflow
PWD : airflow

4-2 Running flower

Airflow 클러스터에서 작업 상태 및 진행 상황을 모니터링하기 위한 웹 기반 모니터링 툴

Flower는 주로 Airflow에서 사용되는 Celery Executor와 함께 사용되며, Celery의 작업 및 워커 상태를 실시간으로 모니터링할 수 있는 기능을 제공

<주요 기능>
작업(task) 상태 모니터링: 현재 실행 중인 작업, 성공 또는 실패한 작업을 실시간으로 확인
워커(worker) 상태 확인: 워커의 상태, 사용 중인 메모리, CPU 자원 등을 모니터링
작업 리트라이 및 강제 실행: 실패한 작업을 Flower UI에서 직접 재시도하거나 다시 실행
실시간 로그: 각 작업의 로그를 실시간으로 확인
Celery 큐 모니터링: 각 큐의 작업 대기 상태를 볼 수 있어 작업이 병목을 일으키고 있는지 쉽게 파악

docker compose up flower

5. Stop and Delete Container

docker compose down

Dockerfile을 이용한 코드에 의한 서버 구축

땅지원 — Mon, 21 Oct 2024 11:15:38 +0900

도커 이미지 만들기
도커는 이미지를 만들기 위해 컨테이너의 상태를 그대로 이미지로 저장하는 단순한 방법을 사용함
예를 들어, 어떤 애플리케이션을 이미지로 만든다면, 리눅스만 설치된 컨테이너에 애플리케이션을 설치하고 그 상태를 그대로 이미지로 저장함

저자 제공 sample 파일을 download

$ git clone https://github.com/asashiho/dockertext2

Docker 파일이란

명령에 의한 Docker 이미지의 작성 방법 (기존 방식)

베이스가 되는 Docker 이미지를 바탕으로 Docker 컨테이너를 생성하고, 생성한 Docker 컨테이너 안에서 OS의 설정이나 미들웨어의 설치, 파라미터의 설치를 수동으로 수행

만들어진 컨테이너에서 서버를 구축한 상태를 바탕으로 Docker 이미지를 생성

Dockerfile 파일에 의한 Docker 이미지의 작성 방법 (현재 방법 )

Dockerfile은 Docker상에서 작동시킬 컨테이너의 구성 정보를 기술하기 위한 파일
Docker build명령은 Dockerfile에 기술된 구성정보를 바탕으로 Docker 이미지를 생성

Dockerfile
텍스트 파일 형식의 파일로 에디터 등을 이용해서 작성
확장자는 필요 없음
dockerfile 이외의 다른 이름 사용 시 docker build 명령 시 “-f” 옵션 사용

Dockerfile reference

Find all the available commands you can use in a Dockerfile and learn how to use them, including COPY, ARG, ENTRYPOINT, and more.

docs.docker.com

FROM 명령(필수 명령)
베이스 이미지를 지정함
tag 생략 시 최신 버전 지정됨
이미 만들어진 다양한 베이스 이미지는 Docker hub에서 확인 가능

Docker 이미지 생성 실습

Dockerfile의 빌드

Docker파일을 이미지로 바꿔준다.

-t sample:1.0은 tag

$PWD/sample은 docker파일의 경로를 나타낸다 ($PWD는 현재 작업 디렉토리)

Note

베이스 이미지와 작성한 두 개의 이미지의 이미지 ID(image ID)가 모두 동일
이미지로서는 각각 다른 이름이 붙어 있지만, 그 실체는 모두 동일한 이미지라는 것을 나타냄

Dockerfile이 아닌 파일을 사용한 Docker Build

$ docker build –t sample -f Dockerfile.base

Docker 이미지의 layer 구조
Dockerfile을 빌드하여 Docker 이미지를 작성하면, Dockerfile의 명령별로 이미지를 작성함
작성된 여러 개의 이미지는 layer 구조로 되어 있음

Dockerfile 작성

nginx와 index.html를 통해 새로운 Dockerfile을 만들어 준다.

$ docker build -t webap .

를 이용해서 Dockerfile을 도커이미지로 build 해준다.

$ docker container run -d -p 80:80 --name webserver_2 webap

을 통해서 webserver_2라는 container를 만들어주고 실행한 다음

내 서버로 들어와보면 index파일대로 표시가 된다.

* 여기서 유의할 점은 index.html를 수정하고 다시 컨테이너를 실행하면 안된다. Dockerfile를 도커 이미지로 바꿀 때의

index파일로 되어있기 때문이다.

명령 실행(RUN 명령)

□ Shell 형식으로 기술 : shell에서 실행하는 형식으로 기술
- apt 명령으로 Nginx를 설치할 경우

□ Exec 형식으로 기술
- shell을 경유하지 않고 직접 실행(JSON 배열 형식): 환경 변수 ($HOME 사용 불가)

데몬 실행(CMD 명령)
이미지를 바탕으로 생성된 컨테이너 안에서 명령을 실행할 경우
□ Exec 형식으로 기술: CMD ["nginx", "-g", "daemon off;"]

□ Shell 형식으로 기술: CMD nginx -g 'daemon off;

□ ENTRYPOINT 명령의 파라미터로 기술

Exec 형식으로 기술: ENTRYPOINT ["nginx", "-g", "daemon off;"]
Shell 형식으로 기술: ENTRYPOINT nginx -g 'daemon off;'

ENTRYPOINT 명령과 CMD명령을 조합한 예

$ docker build -t sample_cmd_entr .

10초마다 갱신되는 모습을 보여주고 있다.

CMD 명령은 Docker container run 수행 시 외부에서 overwrite 가능하다.

-d 2를 이용해서 2초마다 갱신으로 바꿔주는 command를 추가해줬다.

검색 증강 생성(RAG)이란?

땅지원 — Tue, 15 Oct 2024 20:08:40 +0900

RAG(검색 증강 생성)는 데이터베이스와 같은 기존 정보 검색 시스템의 강점과 생성형 대규모 언어 모델(LLM)의 기능을 결합한 AI 프레임워크입니다. AI는 이러한 추가 지식과 자체 언어 기술을 결합하여 사용자의 특정 니즈에 맞는 보다 정확하고 최신 상태의 텍스트를 작성할 수 있습니다.

검색 증강 생성은 어떻게 작동하나요?

RAG는 생성형 AI 출력 향상에 도움이 되는 몇 가지 주요 단계로 작동합니다.

검색 및 사전 처리: RAG는 강력한 검색 알고리즘을 활용하여 웹페이지, 기술 자료, 데이터베이스와 같은 외부 데이터를 쿼리합니다. 검색된 관련 정보는 토큰화, 어간 추출, 금지어 제거 등의 사전 처리 과정을 거칩니다.
생성: 사전 처리된 검색 정보가 선행 학습된 LLM에 원활하게 통합됩니다. 이러한 통합을 통해 LLM의 컨텍스트가 강화되어 주제를 보다 포괄적으로 이해할 수 있습니다. LLM은 이러한 증강된 컨텍스트를 통해 보다 정확하고 유익하며 몰입도 높은 대답을 생성할 수 있습니다.

RAG는 먼저 LLM에 의해 생성된 쿼리를 사용해 데이터베이스에서 관련 정보를 검색하는 방식으로 작동합니다. 이렇게 검색된 정보는 LLM의 쿼리 입력에 통합되어 더 정확하고 상황에 맞는 텍스트를 생성할 수 있습니다. RAG는 효율적인 검색 및 조회가 가능하도록 데이터를 저장하는 벡터 데이터베이스를 활용합니다.

RAG를 사용하는 이유

RAG는 특히 사실에 기반한 정보 또는 데이터 기반 응답을 다룰 때 기존 텍스트 생성 방법에 비해 여러 가지 이점을 제공합니다. RAG를 사용하는 것이 유익한 몇 가지 주요 이유는 다음과 같습니다.

업데이트된 정보에 액세스

기존 LLM은 선행 학습된 지식과 데이터로 한정되는 경우가 많습니다. 이로 인해 응답이 오래되거나 부정확할 수 있습니다. RAG는 LLM에 외부 정보 소스에 대한 액세스 권한을 부여하여 정확한 최신 답변을 보장함으로써 이를 극복합니다.

사실 그라운딩

LLM은 창의적이고 흥미로운 텍스트를 생성하는 강력한 도구이지만 사실에 기반한 정확성에서 어려움을 겪을 수 있습니다. 이는 LLM이 부정확한 정보나 편향을 포함할 수 있는 방대한 양의 텍스트 데이터를 학습하기 때문입니다.

RAG는 LLM에게 엄선된 기술 자료에 대한 액세스 권한을 제공하고 생성된 텍스트가 사실에 기반한 정보에 그라운딩되었는지 확인함으로써 이 문제를 해결하는 데 도움을 줍니다. 따라서 RAG는 뉴스 보도, 과학 저술 또는 고객 서비스와 같이 정확성이 가장 중요한 애플리케이션에 특히 유용합니다.

참고: RAG는 최종 사용자에게 할루시네이션이 전송되는 것을 방지하는 데도 도움이 될 수 있습니다. LLM은 학습이 완료되지 않은 경우에도 때때로 솔루션을 생성할 수 있지만 RAG 기법은 사용자 환경을 개선하는 데 도움이 됩니다.

컨텍스트 관련성

RAG의 검색 메커니즘은 입력 쿼리 또는 컨텍스트와 관련 있는 정보가 검색되도록 보장합니다.

RAG는 LLM에 상황에 맞는 정보를 제공함으로써 모델이 특정 컨텍스트에 더 일관성 있고 더 적절한 대답을 생성할 수 있도록 지원합니다.

이러한 상황별 그라운딩은 관련이 없거나 주제에서 벗어난 대답이 생성되지 않도록 하는 데 도움이 됩니다.

사실의 일관성

RAG는 LLM이 검색된 사실 정보와 일치하는 대답을 생성하도록 합니다.

RAG는 검색된 지식에 따라 생성 프로세스를 조절하여 생성된 텍스트의 모순과 불일치를 최소화하는 데 도움이 됩니다.

이렇게 하면 사실의 일관성을 유지하고 잘못되거나 오해의 소지가 있는 정보를 생성할 가능성을 줄일 수 있습니다.

벡터 데이터베이스 활용

RAG는 벡터 데이터베이스를 활용하여 관련 문서를 효율적으로 검색합니다. 벡터 데이터베이스는 문서를 고차원 공간에 벡터로 저장하므로 시맨틱 유사성을 기반으로 빠르고 정확하게 검색할 수 있습니다.

향상된 대답 정확도

RAG는 상황에 맞는 정보를 제공하여 LLM을 보완합니다. 그러면 LLM은 이 정보를 사용하여 보다 일관되고 유익하며 정확한 응답(멀티모달 대답 포함)을 생성할 수 있습니다.

RAG 및 챗봇

RAG를 챗봇 시스템에 통합하여 대화 능력을 향상시킬 수 있습니다. RAG 기반 챗봇이 외부 정보에 액세스하면 외부 지식을 활용해 보다 포괄적이고 유익하며 상황에 맞는 대답을 제공하여 전반적인 사용자 경험을 개선할 수 있습니다.

1. RAG 란?

* 사전적 의미와 프로세스

RAG(Retrieval-Augmented Generation)는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스입니다.

프로세스 내에서는 의도분류, 데이터 정합성판단, 환각현상 판단, 답변생성의 과정도 포함되어있습니다.

1-2. 종류

1-2-1. Adaptive RAG

Adaptive RAG 는 사용자의 질문이 사용자가 가지고있는 데이터베이스의 정보와 연관성을 판단하여 검색어를 확장합니다. 연관성이 없을경우 검색엔진을 활용한 응답으로 넘어갑니다. 이는 검색엔진 뿐만 아니라 추가적인 데이터 수집 방법을 활용할 수 있습니다.

1-2-2. Corrective RAG (CRAG)

CRAG 는 Retrieval 된 검색어를 채점하는 RAG입니다. 채점시에 질문과 확장된 질문이 연관성이 없다면 쿼리를 재생성하고 검색엔진에 넣어 응답을 생성합니다.

1-2-3. Self_RAG

Self_RAG 는 질문을 증강하여 채점후 연관성이 없으면 질문을 다시 생성하여 연관성이 있을때까지 반복합니다.

1-3. 핵심 로직

RAG의 핵심 로직은 반복 쿼리 로직입니다. RAG 공식 문서에서는 langgraph의 StateGraph 를 활용하여 workflow를 생성합니다.

from langgraph.graph import END, StateGraph
workflow = StateGraph(GraphState)

# 노드 정의
workflow.add_node("web_search", web_search)  # 검색엔진
workflow.add_node("retrieve", retrieve)  # retrieve # 검색증강
workflow.add_node("grade_documents", grade_documents)  # 검증
workflow.add_node("generate", generate)  # Generate
workflow.add_node("transform_query", transform_query)  # 질문 변형, 재생성

...

2. 사용성

2-1. 실시간 학습 불가

현재 파라미터수가 엄청나게 거대해진 LLM 모델들이 데이터를 한건한건 실시간으로 학습하는것은 불가능 하다고 볼 수 있습니다. GPT-4o는 2023년 4월까지 의 데이터를 학습했으며 그 이후의 데이터는 알지 못합니다. 여러 새로운 문화와 지식이 급증하는 시기에 1년 이상의 지식차이는 아주 뒤떨어지는것으로 볼 수 있으며 이를 해결하기 위하여 프롬프트에 현재 데이터를 함께 넘겨주는 방법을 사용하기 시작했습니다. 이를 정형화하는 과정 중 RAG 방법론이 탄생했습니다.

2-2. Hallucination, 생성내용에 대한 피드백

실시간 학습이 불가하기에 LLM은 학습하지 않은 데이터에 대한 질문은 없는 지식을 새로 창조하거나 현실적이지 않은 말도 안되는 결과물로 답을 했습니다. 이는 정확한 정보를 요구하는 사용자에게는 아주 쓸모없는 인공지능이 될 것입니다. RAG 방법론에서는 자체적으로 LLM이 생성한 결과물이 현실적인지를 검증합니다.

[ELK] Elasticsearch SSL 인증서 발급

땅지원 — Wed, 2 Oct 2024 14:04:48 +0900

Elasticsearch Node (transport) SSL 인증서 설치 및 적용

1. CA 인증서 생성

> bin/elasticsearch-certutil ca




2. CA 인증서 기반으로 인증서 생성

> bin/elasticsearch-certutil cert --ca [CA인증서 파일명]




3. config/elasticsearch.yml 파일 수정

config/elasticsearch.yml 에서 ssl 인증서 파일 경로 변경




4. elasticsearch.keystore에 인증서 비밀번호 변경(추가)

> bin/elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password

> bin/elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password




5. 엘라스틱서치 재시작

> bin/run.sh restart

Elasticsearch Node (http) SSL 인증서 설치 및 적용

1. CA 인증서 생성

> bin/elasticsearch-certutil http




2. CSR 생성 ? n

    CA 사용 여부 Y

    CA 경로 지정 : elastic-stak-ca.p12 경로 지정

   node별 발급 여부 y

  node name 입력

   host 이름 입력

  ip 입력

  keystore 암호 입력




3. config/elasticsearch.yml 파일 수정

xpack.security.http.ssl.keystore.path : http.p12




4. elasticsearch.keystore에 인증서 비밀번호 변경(추가)

> bin/elasticsearch-keystore add xpack.security.http.ssl.keystore.secure_password




5. 엘라스틱서치 재시작

> bin/run.sh restart