티스토리

땅지원's Personal blog
검색하기

블로그 홈

땅지원's Personal blog

ddangjiwon.tistory.com/m

신입 개발자의 우당탕탕 기술 블로그

구독자
2
방명록 방문하기
공지 20.11.6 BB21플러스 온라인 ⋯ 모두보기

주요 글 목록

  • Access Control 종류(ACL, RBAC, ABAC) Access Control List (ACL)사용자가 인증된 후에, 해당 사용자의 IP가 인증된 사용자 리스트(White List) 또는 차단된 사용자 리스트(Black 리스트)에 있는지에 따라 Access를 허용하거나 차단한다. 사용자 IP가 White List에 없을 경우에도 차단된다.즉, ACL은 특정 사용자의 시스템 액세스 권한 여부를 결정하는 데 사용된다. Role-based access control(RBAC)사용자의 역할에 따라 액세스 권한을 부여하는 방식이다. RBAC에서 사용자는 다른 권한을 부여받을 수 있는 여러 역할을 가질 수 있다. 예를 들어 IT회사에서의 RBAC을 다음과 같이 나눠볼 수 있다.시스템 관리자 역할: 서버 관리, 시스템 관리데이터베이스 관리자 역할: 데이터 베이스 관.. 공감수 3 댓글수 1 2024. 11. 5.
  • [React] Material UI 적용 React themes & templates - MUI StoreA collection of the best React templates, React dashboard, and React themes. It includes templates for dashboard, admin, landing page, e-commerce site and more.mui.com 원하는 템플릿을 받고 해당 디렉터리에서 시작하면 된다.npm start    https://mui.com/store/items/modernize-next-js-free-admin-template/ Modernize Next.js Free Admin Template - MUI StoreFree React Admin Dashboard made wit.. 공감수 1 댓글수 0 2024. 10. 30.
  • [React] React 시작하기 npm install -g create-react-appnpx create-react-app my-appcd my-appnpm startnode_modules/ : 프로젝트에 사용되는 외부 라이브러리와 모듈이 저장되는 폴더입니다. 이러한 라이브러리와 모듈은 npm install 명령어를 통해 설치되며, package.json 파일에 명시됩니다.public/ : 정적 파일들이 저장되는 폴더로, HTML, 이미지, 아이콘 등이 포함됩니다. 주요 파일로는 index.html이 있으며, 이는 리액트 앱의 기본 템플릿으로 사용됩니다.src/: 애플리케이션의 소스 코드가 저장되는 폴더입니다. 이 폴더에는 컴포넌트, 스타일, 이미지 등의 파일이 포함됩니다. 주요 파일들은 다음과 같습니다.index.js : 리액트 앱.. 공감수 2 댓글수 1 2024. 10. 30.
  • [Airflow] DAG 생성 https://github.com/andreax79/airflow-code-editor GitHub - andreax79/airflow-code-editor: A plugin for Apache Airflow that allows you to edit DAGs in browserA plugin for Apache Airflow that allows you to edit DAGs in browser - andreax79/airflow-code-editorgithub.com직접 마운트 된 airflow 디렉터리 ./dags 폴더에 넣어도 되지만 UI환경에서 바로 코드 수정을 할 수 있는 에디터가 존재 1. SQL을 이용한 DAG 구현 from datetime import timedeltafrom airflo.. 공감수 0 댓글수 0 2024. 10. 25.
  • [Airflow] SlackAPIPostOperator 설정 이전 버전에서는 SlackAPIPostOperator 메소드 내에서 token 를 입력을 했어야 했지만 직접 token 을 입력해보았을 때, 에러가 발생하고 현재는 지원하지 않는 것 같다. airflow.providers.slack.operators.slack — apache-airflow-providers-slack Documentation airflow.apache.org Post messages to a Slack channel.slack = SlackAPIPostOperator( task_id="post_hello", dag=dag, text="hello there!", channel="#random",)해결방법 : Slack API Connection을 만들어주고 BaseH.. 공감수 0 댓글수 0 2024. 10. 24.
  • [Airflow] Connection 연결 시 [TEST] 버튼 비활성화 해결방법 Airflow webserver Container 내의 airflow.cfg 파일에서 'test_connection = Disabled' → 'test_connection = Enabled'로 바꿔주면서 해결하면 된다.하지만 컨테이너 내부에 들어가 vi를 다운받아야 하는데 프록시 설정이 안되어 있어 apt update & apt install vim이 안되는 상황 1.docker-compose.yml 파일 내에 proxy 설정 추가 (x)airflow-webserver: 하지만 db와 통신이 안되어 'Please airflow db init' 에러가 계속 나와 진행이 안됨 2. 호스트 서버에서 airflow.cfg 파일을 옮기기docker exec -it -u root airflow-airflow-we.. 공감수 4 댓글수 0 2024. 10. 22.
  • [Airflow] Airflow 설치 (Docker) Airflow 릴리즈 정보 확인 : https://airflow.apache.org/announcements/Running Airflow in Docker : https://airflow.apache.org/docs/apache-airflow/2.9.0/howto/docker-compose/index.html# 1. Fetching docker-compose.yaml curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.0/docker-compose.yaml'airflow-scheduler - 스케줄러는 모든 작업(task)과 DAG를 모니터링하고, 각 작업의 종속성이 완료되면 해당 작업 인스턴스를 실행airflow-webserver - 웹서버는 .. 공감수 0 댓글수 0 2024. 10. 22.
  • Dockerfile을 이용한 코드에 의한 서버 구축 도커 이미지 만들기 도커는 이미지를 만들기 위해 컨테이너의 상태를 그대로 이미지로 저장하는 단순한 방법을 사용함 예를 들어, 어떤 애플리케이션을 이미지로 만든다면, 리눅스만 설치된 컨테이너에 애플리케이션을 설치하고 그 상태를 그대로 이미지로 저장함저자 제공 sample 파일을 download $ git clone https://github.com/asashiho/dockertext2Docker 파일이란 명령에 의한 Docker 이미지의 작성 방법 (기존 방식)베이스가 되는 Docker 이미지를 바탕으로 Docker 컨테이너를 생성하고,  생성한 Docker 컨테이너 안에서 OS의 설정이나 미들웨어의 설치, 파라미터의 설치를 수동으로 수행만들어진 컨테이너에서 서버를 구축한 상태를 바탕으로 Docker 이미.. 공감수 1 댓글수 0 2024. 10. 21.
  • 검색 증강 생성(RAG)이란? RAG(검색 증강 생성)는 데이터베이스와 같은 기존 정보 검색 시스템의 강점과 생성형 대규모 언어 모델(LLM)의 기능을 결합한 AI 프레임워크입니다. AI는 이러한 추가 지식과 자체 언어 기술을 결합하여 사용자의 특정 니즈에 맞는 보다 정확하고 최신 상태의 텍스트를 작성할 수 있습니다. 검색 증강 생성은 어떻게 작동하나요?RAG는 생성형 AI 출력 향상에 도움이 되는 몇 가지 주요 단계로 작동합니다. 검색 및 사전 처리: RAG는 강력한 검색 알고리즘을 활용하여 웹페이지, 기술 자료, 데이터베이스와 같은 외부 데이터를 쿼리합니다. 검색된 관련 정보는 토큰화, 어간 추출, 금지어 제거 등의 사전 처리 과정을 거칩니다.생성: 사전 처리된 검색 정보가 선행 학습된 LLM에 원활하게 통합됩니다. 이러한 통합을.. 공감수 4 댓글수 3 2024. 10. 15.
  • [ELK] Elasticsearch SSL 인증서 발급 Elasticsearch Node (transport) SSL 인증서 설치 및 적용1. CA 인증서 생성> bin/elasticsearch-certutil ca2. CA 인증서 기반으로 인증서 생성> bin/elasticsearch-certutil cert --ca [CA인증서 파일명]3. config/elasticsearch.yml 파일 수정config/elasticsearch.yml 에서 ssl 인증서 파일 경로 변경4. elasticsearch.keystore에 인증서 비밀번호 변경(추가)> bin/elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password> bin/elasticsearch-keystore add .. 공감수 0 댓글수 0 2024. 10. 2.
  • [ELK] Reindex 적용 새로운 데이터 스트림 생성PUT /_data_stream/logs-errpt-infra-test  해당 index를 새로운 데이터 스트림에 reindex 시킴POST _reindex?wait_for_completion=false{ "source": { "index": ".ds-logs-errpt-infra-2024.08.19-000012" }, "dest": { "index": "logs-errpt-infra-test", "op_type": "create" }}동일한 데이터스트림에서 reindex 시도 시 이미 존재하고 있는 index 때문에 정상적인 수행이 안됨.따라서 새로운 인덱스에 reindex를 임시로 수행op_type : create 없이 진행한다고 해도 추천하는 방법이 아님 여기서 ind.. 공감수 0 댓글수 0 2024. 10. 2.
  • [ELK] Logstash JDBC 설정 jdbc { jdbc_connection_string => "jdbc:postgresql://localhost:5432/test" jdbc_user => "test" jdbc_password => "test" jdbc_driver_class => "org.postgresql.Driver" jdbc_driver_library => "D:\elastic-logstash\logstash-8.10.2\lib\postgresql-42.6.0.jar" statement => "select * from pgdb12.ora_alarm_history where time > now() - interval '5 min'" jdbc_pool_timeout => 300 .. 공감수 0 댓글수 1 2024. 7. 23.
  • [ELK] Elasticsearch Bool 복합 쿼리 must : 쿼리가 참인 도큐먼트들을 검색합니다.must_not : 쿼리가 거짓인 도큐먼트들을 검색합니다.should : 검색 결과 중 이 쿼리에 해당하는 도큐먼트의 점수를 높입니다.filter : 쿼리가 참인 도큐먼트를 검색하지만 스코어를 계산하지 않습니다. must 보다 검색 속도가 빠르고 캐싱이 가능합니다. 공감수 0 댓글수 0 2024. 7. 15.
  • [ELK] CCS, CCR 방법 공감수 0 댓글수 0 2024. 7. 10.
  • 랭체인과 LLM에 대해 챗GPT가 쏘아올린 인공지능(AI) 열풍이 여전히 뜨겁다. 보다 정확히 말하면 챗GPT가 쏘아올린 대형 언어 모델(Large language model, LLM) 열풍이라고도 할 수 있겠다. 내로라하는 빅테크들이 너도나도 생성형 AI를 이야기하며 앞다퉈 시장에 뛰어들고 있다. 그리고 그 중심에는 LLM이 있다. 혜성처럼 등장한 챗GPT 이후 다양한 LLM이 개발되고 공개됐다. 구글이나 오픈AI 등 업계 대표 기업들이 폐쇄적인 생태계를 구축하며 독자적인 모델 성능 개선에 열을 올리는 가운데, 오픈소스 진영에서도 유사한 LLM들이 하나둘씩 선보여지고 있다. 특히 메타가 자체 LLM ‘라마 2(Llama 2)’를 오픈소스로 공개한 기점을 시작으로 LLM을 내놓는 기업들이 크게 늘어났다. 이렇듯 최근의 트렌드는.. 공감수 0 댓글수 0 2024. 6. 16.
  • [ELK] Elasticsearch Watcher 설정 회사에서 ELK를 통한 알림 시스템을 구축하려고 하는데 Alerting 및 Watcher 기능을 살펴보려고 한다. Alerting : kibana 에서 발생시킴Watcher : Elasticsearch 에서 발생시킴 Alerting Kibana 8.10.2 기준으로 Kibana에서 Alerting 설정은 Rules을 만들어서 알림을 발생시키는데 GUI 기반으로 편하게 만들 수 있는 장점이 있다. 다양한 임계값 설정과 알림 예시들이 많아서 쉽게 사용가능하고 QueryDSL도 사용가능해서 검색옵션을 풍부하게 할 수 있다. 하지만 여러개의 인덱스를 통해 조건을 거는건 불가능하며 간단한 알림 설정을 할 때 유용하다. Watcherwatcher는 Alerting 보다 더 자세하게 알림을 만들 수 있다.  Watc.. 공감수 0 댓글수 1 2024. 6. 3.
  • 리눅스 네트워크 관련 개념 & 명령어 정리 파일의  압축과 묶기파일 압축압축 파일 확장명은 xz, bz2, gz, zip, Z 등xz나 bz2 압축률이 더 좋음 파일 압축 관련 명령xz: 확장명 xz로 압축을 하거나 풀어준다.ex) xz [파일명]ex) xz -d [파일명].xzbzip2: 확장명 bz2로 압축을 하거나 풀어준다.압축 -> bzip2 [파일명]압축 풀기 -> bzip2 -d [파일명].bz2bunzip2: bzip2 -d 옵션과 동일한 명령어gzip: 확장명 gz로 압축을 풀거나 풀어준다.압축 -> gzip [파일명]압축 풀기 -> gzip -d [파일명].gzgunzip: gzip -d 옵션과 동일한 명령어 파일 묶기리눅스(유닉스)에서는 '파일 압축'과 '파일 묶기'는 원칙적으로 별개의 프로그램으로 수행한다.파일 묶기의 명령어는.. 공감수 0 댓글수 0 2024. 5. 15.
  • [Vector] Logstash 대체안 Vector 대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기 일평균 56억 건 이상 수집되는 토스증권의 로그, 어떻게 효율적으로 처리할까요? 큰 폭으로 늘어나는 대규모 로그 처리를 위한 ‘Elasticsearch 클러스터 개선 경험’을 소개합니다. toss.tech Logstash를 사용하다보면 JVM 기반이기 때문에 많은 메모리를 사용한다는 이슈가 있다. 때문에 Logstash 대체안 중 Vector라는 솔루션을 찾았고 생각보다 사용하기 쉽고 Docs정리가 잘되어있어 편리하다. Toss slash 2023를 참고하면 이미 Toss에서도 나와 똑같은 고민을 하여 vector 도입 후 상당히 가벼워졌다는 후기가 있어 테스트 및 검토를 마친상태고 Logstash config 일부 마이그레이션까지 진행.. 공감수 0 댓글수 0 2024. 4. 19.
  • 리눅스 기초 IBM : AIX HP사 : HP-UX Oracle : Solaris DEC : Tru64 Unix Xinuos : OpenServer 쉘과 쉘스크립트 하드웨어 : 컴퓨터의 기계적인 부분들 kernel : 물리적인 기계를 직접적으로 제어하는 그 운영체제에서 가장 중심이 되는 그 코어이다. (핵심, 알갱이, 코어) shell : 사용자가 입력한 명령을 해석하는 프로그램 (껍데기, 주변) 사용자로 리눅스에서 우리가 입력한 명령이 Shell(셸)을 대상으로 해서 명령을 입력해 준다. 이후 Shell(셸)은 입력한 그 명령을 해석해서 Kernel(커널)이 이해 할 수 있는 방식으로Kernel(커널)에게 전달해준다. 그러면 Kernel(커널)이라고 하는 프로그램은 하드웨어를 제어해서 어떠한 처리를 수행할수 있도록.. 공감수 0 댓글수 0 2024. 4. 17.
  • [Elastic Stack] Elasticsearch 기본 개념 검색 엔진분산처리고가용성 제공수평적 확장성JSON 기반의 REST API 제공데이터 안정성다양한 플러그인을 통한 확장 지원준실시간 검색트랜잭션이 지원되지 않음사실상 조인을 지원하지 않음엘라스틱서치 기본 동작 빠르게 둘러보기[문서 색인]_id를 지정하여 색인_id 값은 이 문서를 인덱스 내에서 고유하게 식별하기 위한 값. 엘라스틱서치에 저장된 모든 문서가 _id 값을 가지고 있다.PUT [인덱스 이름]/_doc/[_id값]{ [문서 내용]}  _id를 지정하지 않고 색인자동으로 _id 값을 생성해준다.PUT [인덱스 이름]/_doc{ [문서 내용]}[문서 조회]GET [인덱스 이름]/_doc/[_id값][문서 업데이트]POST [인덱스 이름]/_upd.. 공감수 1 댓글수 1 2024. 4. 4.
  • [Elastic Stack] Elasticsearch Command line tools Command line tools | Elasticsearch Guide [8.12] | Elastic www.elastic.co [elasticsearch] 엘라스틱서치 실행 명령어 # 데몬으로 실행 > elasticsearch -d -p pid [elasticsearch-create-enrollment-token] elasticsearch 노드 및 Kibana 인스턴스에 대한 등록 토큰을 생성 > elasticsearch-create-enrollment-token [-f, --force] [-h, --help] [-E ] [-s, --scope] [--url] -E 표준 Elasticsearch 또는 X-Pack 설정을 구성 -f, --force 비정상 클러스터에 대해 명령을 강제로 실행 -h, --.. 공감수 0 댓글수 2 2024. 3. 19.
  • [Elastic Stack] Elasticsearch.yml 파일 세팅 Elasticsearch 다운로드 페이지에서 Elasticsearch를 다운로드하고 설치할 수 있으며 설치 후, elasticsearch.yml 파일을 열어 Elasticsearch를 구성해야 한다. Default location : elasticsearch x.xx.x/config/elasticsearch.yml# ======================== Elasticsearch Configuration =========================## NOTE: Elasticsearch comes with reasonable defaults for most settings.# Before you set out to tweak and tune the configuration, .. 공감수 0 댓글수 0 2024. 3. 18.
  • [Elastic Stack] Ingest Pipeline + processor Logstash는 Elastic Stack에 원래 포함되어 있는 구성 요소로서, 구문을 분석하고 데이터를 보강하며 처리를 할 때 사용하던 도구이다.  Ingest Node는 Elasticsearch 5.0부터 도입되었으며 최소한의 구성으로 간단한 아키텍처를 가능하게 하며, Logstash의 상위개념이라고 볼 수 있다. 일부 기능은 중복되지만 서로의 사용처가 분명하게 다르다. 실습으로 경험해본 차이점은 Logstash의 Filter 부분을 구성할 때 .yaml 파일로 작성하게 되는데 만약 관련 설정이 길어지거나 추가사항이 많을때는 가독성과 유지보수가 힘들다.하지만 Ingest Node를 사용하여 관리했을땐 GUI기반으로 설정하기가 매우 간단했으며 편리하게 관리할 수 있었다. 인제스트 노드(Ingest No.. 공감수 1 댓글수 0 2024. 3. 14.
  • [Elastic Stack] Fleet and Elastic Agent Elastic Agent 로그, 지표 및 기타 모니터링을 추가할 수 있는 통합된 단일 방법이다. 기존의 데이터수집을 위해선 여러 종류의 Beats를 설치하고, 각각의 설정을 일일이 변경하고 Health check까지 별도로 해야했지만 Elastic Agent 하나로 여러 타입의 데이터를 손쉽게 수집하고, Fleet으로 Agent 통합관리, Configuration 및 바이너라 자동업데이트까지 여러기능을 가능케 한다. Fleet의 중앙관리 Elastic Agent를 중앙에서 관리할 수 있도록 Kibana에서 웹 기반 UI를 제공하며 Fleet에 있는 모든 Elastic Agent의 상태를 볼 수 있다. Fleet은 Elastic Agent로 돌아가는 통신 채널 역할을 하며 Agent Policy를 변경하면.. 공감수 0 댓글수 0 2024. 3. 12.
  • [Elastic Stack] Grok Pattern에 대해 파이프라인데이터를 입력받아 실시간으로 변경하고 이를 다른 시스템에 전달하는 역할입력, 필터, 출력의 3가지 옵션으로 이루어져 있으며 필터에 다양한 옵션이 있는데 그 중 Grok pattern을 사용하는 법에 대해 정리해보려고 한다. 입력 플러그인은 file, syslog, kafka, jdbc 등의 플러그인으로 데이터를 받아온다.필터 플러그인은 grok, dissect, mutate, date 등의 플러그인으로 데이터를 필터링 한다. Grok Pattern - 예악어 활용Grok은 정규 표현식을 이용해 문자열을 파싱할 수 있다. 자주 사용하는 정규 표현식들을 패턴화해뒀으며 패턴을 이용해%{패턴명:변수명} 형태로 데이터에서 특정 필드를 파싱할 수 있다.패턴명설명NUMBER십진수를 인식한다. 부호와 소수점을.. 공감수 0 댓글수 0 2024. 3. 8.
  • [Grafana] Customizing Grafana Alerting Notification Templates Customize 하지않은 상태로 Test 알림을 보내게되면 다음과 같은 알림을 얻을 수 있는데 필요한 정보만 Alerting하게 하는것이 Customize 하는 목적입니다. **Firing** Value: [no value] Labels: - alertname = TestAlert - instance = Grafana Annotations: - summary = Notification test Silence: http://----- 1. Alerts & IRM -> Contact points 로 이동 2.Notification Templates에서 + Add notification template 버튼을 눌러 새로운 템플릿을 만듭니다. 기본적으로 Nofification Templates은 Go 언어의 .. 공감수 0 댓글수 0 2024. 3. 8.
  • Coding Test(정렬 알고리즘) 선택정렬 - 가장 작은 데이터를 선택해 맨 앞에 있는 데이터와 바꾼다. - 한번씩 순회를 하고 가장 큰 수를 찾은다음 바꿈 - 시간 복잡도 : O(N*2) - 공간 복잡도 : O(N) int[] arr = {7, 5, 2, 4, 6, 1, 3, 9, 8}; for (int i = 0; i arr[j]) { min = j; } } int temp = arr[i]; arr[i] = arr[min]; arr[min] = temp; } 삽입정렬 - 처리되지 않은 데이터를 하나씩 골라 적절한 위치에 삽입한다. - 현재위치에서 아래쪽을 순회하며 크기가 작을.. 공감수 0 댓글수 1 2024. 1. 7.
  • 애플리케이션의 종류 반응형 웹 화면 크기에 따라 홈페이지의 크기가 변화하는 웹사이트 적응형 웹 정해진 화면 크키가 기기에 맞게 홈페이지를 따로 제작하는 웹사이트 네이티브 앱 - 앱 각 운영체제에 맞는 앱을 개발 안드로이드 - Java, Kotlin IOS - Swift, Objective-C 크로스 플랫폼 - 앱 같은 소스코드로 안드로이드, IOS 모든 환경에서 작동할 수 있는 앱 Flutter, React native 웹 앱 - 웹사이트 스마트폰의 기종이나 기기에 상관없이 모든 단말기에서 같은 콘텐츠를 볼 수 있게함 모바일 앱과 비슷한 UI/UX를 지원하는 웹사이트 하이브리드 앱 - 웹사이트 네이티브 or 크로스 플랫폼 + 웹 뷰 PWA(Progressive Web Apps) - 웹사이트 웹 앱이지만 스마트폰과 PC의 바.. 공감수 0 댓글수 0 2024. 1. 4.
  • 불변성(Immutable)과 빌더 패턴(Builder Pattern)에 대해 우리는 왜? 불변성을 지키면서 코딩을 해야할까? 내가 알고있는 불변성이라는 개념은 'final' 불변객체는 재할당은 가능하지만, 한번 할당하면 내부 데이터를 변경할 수 없는 객체 class ImmutablePerson { private final int age; private final int name; public ImmutablePerson(int age, int name) { this.age = age; this.name = name; } } private final로 변수를 선언했기 때문에 외부에서 당연히 접근 불가 final로 했기 때문에 setter도 사용 불가능 그럼 이 불변성을 지키는것의 장단점은 무엇일까? 장점 객체에 대한 신뢰도가 높아진다 => 객체가 한번 생성되어서 그게 변하지 않는다.. 공감수 2 댓글수 0 2024. 1. 3.
  • 객체 지향 프로그래밍 클래스 멤버 변수 vs 인스턴스(객체) 멤버 변수 public class Person { //클래스 멤버 변수 static String org = "jiwon"; //인스턴스 멤버 변수 String name; int age; boolean isHungry; void eat() { System.out.println("냠냠"); isHungry = false; } void work() { System.out.println("열심히.."); isHungry = true; } } public class PersonTest { public static void main(String[] args) { //지금 11줄에서 객체를 만드는 과정이 있기 전에 클래스 멤버 변수를 수정한 것임 // Person.org = ".. 공감수 0 댓글수 1 2024. 1. 3.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.