전체 글

랭체인과 LLM에 대해

챗GPT가 쏘아올린 인공지능(AI) 열풍이 여전히 뜨겁다. 보다 정확히 말하면 챗GPT가 쏘아올린 대형 언어 모델(Large language model, LLM) 열풍이라고도 할 수 있겠다. 내로라하는 빅테크들이 너도나도 생성형 AI를 이야기하며 앞다퉈 시장에 뛰어들고 있다. 그리고 그 중심에는 LLM이 있다. 혜성처럼 등장한 챗GPT 이후 다양한 LLM이 개발되고 공개됐다. 구글이나 오픈AI 등 업계 대표 기업들이 폐쇄적인 생태계를 구축하며 독자적인 모델 성능 개선에 열을 올리는 가운데, 오픈소스 진영에서도 유사한 LLM들이 하나둘씩 선보여지고 있다. 특히 메타가 자체 LLM ‘라마 2(Llama 2)’를 오픈소스로 공개한 기점을 시작으로 LLM을 내놓는 기업들이 크게 늘어났다. 이렇듯 최근의 트렌드는..

[ELK] Elasticsearch Watcher 설정

회사에서 ELK를 통한 알림 시스템을 구축하려고 하는데 Alerting 및 Watcher 기능을 살펴보려고 한다. Alerting : kibana 에서 발생시킴Watcher : Elasticsearch 에서 발생시킴 Alerting Kibana 8.10.2 기준으로 Kibana에서 Alerting 설정은 Rules을 만들어서 알림을 발생시키는데 GUI 기반으로 편하게 만들 수 있는 장점이 있다. 다양한 임계값 설정과 알림 예시들이 많아서 쉽게 사용가능하고 QueryDSL도 사용가능해서 검색옵션을 풍부하게 할 수 있다. 하지만 여러개의 인덱스를 통해 조건을 거는건 불가능하며 간단한 알림 설정을 할 때 유용하다. Watcherwatcher는 Alerting 보다 더 자세하게 알림을 만들 수 있다.  Watc..

리눅스 네트워크 관련 개념 & 명령어 정리

파일의  압축과 묶기파일 압축압축 파일 확장명은 xz, bz2, gz, zip, Z 등xz나 bz2 압축률이 더 좋음 파일 압축 관련 명령xz: 확장명 xz로 압축을 하거나 풀어준다.ex) xz [파일명]ex) xz -d [파일명].xzbzip2: 확장명 bz2로 압축을 하거나 풀어준다.압축 -> bzip2 [파일명]압축 풀기 -> bzip2 -d [파일명].bz2bunzip2: bzip2 -d 옵션과 동일한 명령어gzip: 확장명 gz로 압축을 풀거나 풀어준다.압축 -> gzip [파일명]압축 풀기 -> gzip -d [파일명].gzgunzip: gzip -d 옵션과 동일한 명령어 파일 묶기리눅스(유닉스)에서는 '파일 압축'과 '파일 묶기'는 원칙적으로 별개의 프로그램으로 수행한다.파일 묶기의 명령어는..

[Vector] Logstash 대체안 Vector

대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기 일평균 56억 건 이상 수집되는 토스증권의 로그, 어떻게 효율적으로 처리할까요? 큰 폭으로 늘어나는 대규모 로그 처리를 위한 ‘Elasticsearch 클러스터 개선 경험’을 소개합니다. toss.tech Logstash를 사용하다보면 JVM 기반이기 때문에 많은 메모리를 사용한다는 이슈가 있다. 때문에 Logstash 대체안 중 Vector라는 솔루션을 찾았고 생각보다 사용하기 쉽고 Docs정리가 잘되어있어 편리하다. Toss slash 2023를 참고하면 이미 Toss에서도 나와 똑같은 고민을 하여 vector 도입 후 상당히 가벼워졌다는 후기가 있어 테스트 및 검토를 마친상태고 Logstash config 일부 마이그레이션까지 진행..

리눅스 기초

IBM : AIX HP사 : HP-UX Oracle : Solaris DEC : Tru64 Unix Xinuos : OpenServer 쉘과 쉘스크립트 하드웨어 : 컴퓨터의 기계적인 부분들 kernel : 물리적인 기계를 직접적으로 제어하는 그 운영체제에서 가장 중심이 되는 그 코어이다. (핵심, 알갱이, 코어) shell : 사용자가 입력한 명령을 해석하는 프로그램 (껍데기, 주변) 사용자로 리눅스에서 우리가 입력한 명령이 Shell(셸)을 대상으로 해서 명령을 입력해 준다. 이후 Shell(셸)은 입력한 그 명령을 해석해서 Kernel(커널)이 이해 할 수 있는 방식으로Kernel(커널)에게 전달해준다. 그러면 Kernel(커널)이라고 하는 프로그램은 하드웨어를 제어해서 어떠한 처리를 수행할수 있도록..

[Elastic Stack] Elasticsearch 기본 개념

검색 엔진분산처리고가용성 제공수평적 확장성JSON 기반의 REST API 제공데이터 안정성다양한 플러그인을 통한 확장 지원준실시간 검색트랜잭션이 지원되지 않음사실상 조인을 지원하지 않음엘라스틱서치 기본 동작 빠르게 둘러보기[문서 색인]_id를 지정하여 색인_id 값은 이 문서를 인덱스 내에서 고유하게 식별하기 위한 값. 엘라스틱서치에 저장된 모든 문서가 _id 값을 가지고 있다.PUT [인덱스 이름]/_doc/[_id값]{ [문서 내용]}  _id를 지정하지 않고 색인자동으로 _id 값을 생성해준다.PUT [인덱스 이름]/_doc{ [문서 내용]}[문서 조회]GET [인덱스 이름]/_doc/[_id값][문서 업데이트]POST [인덱스 이름]/_upd..

[Elastic Stack] Elasticsearch Command line tools

Command line tools | Elasticsearch Guide [8.12] | Elastic www.elastic.co [elasticsearch] 엘라스틱서치 실행 명령어 # 데몬으로 실행 > elasticsearch -d -p pid [elasticsearch-create-enrollment-token] elasticsearch 노드 및 Kibana 인스턴스에 대한 등록 토큰을 생성 > elasticsearch-create-enrollment-token [-f, --force] [-h, --help] [-E ] [-s, --scope] [--url] -E 표준 Elasticsearch 또는 X-Pack 설정을 구성 -f, --force 비정상 클러스터에 대해 명령을 강제로 실행 -h, --..

[Elastic Stack] Elasticsearch.yml 파일 세팅

Elasticsearch 다운로드 페이지에서 Elasticsearch를 다운로드하고 설치할 수 있으며 설치 후, elasticsearch.yml 파일을 열어 Elasticsearch를 구성해야 한다. Default location : elasticsearch x.xx.x/config/elasticsearch.yml# ======================== Elasticsearch Configuration =========================## NOTE: Elasticsearch comes with reasonable defaults for most settings.# Before you set out to tweak and tune the configuration, ..