전체 글102 Elasticsearch Shard, Rack Elasticsearch에서의 rack과 sharding은 고가용성과 확장성, 성능 최적화에 매우 중요한 개념입니다. ✅ 1. Elasticsearch의 Shard (샤드)🔷 샤드란?Elasticsearch에서 인덱스는 너무 커질 수 있기 때문에 하나의 인덱스를 여러 개의 작은 단위로 나눈 것이 바로 **샤드(Shard)**입니다.Elasticsearch의 인덱스는 기본적으로:Primary Shard (기본 샤드)Replica Shard (복제 샤드)로 구성됩니다.🔷 Shard의 특징항목설명기본 단위데이터를 분산 저장하기 위한 최소 단위Primary Shard원본 데이터를 저장Replica ShardPrimary를 복제, 장애 복구나 조회 성능 향상에 사용분산 처리각 샤드는 클러스터 내 여러 노드에 .. 2025. 6. 27. 랭체인(LangChain) RAG나 LLM 기반 서비스에서 자주 언급되는 **LangChain(랭체인)**은 대형 언어 모델(LLM)을 활용한 응용 프로그램을 쉽게 구성할 수 있게 해주는 파이썬/자바스크립트 기반 프레임워크입니다.✅ LangChain이란?LangChain은 LLM을 다양한 데이터 소스(문서, DB, API 등)와 연결하고, 체계적으로 처리하는 파이프라인을 쉽게 구성하는 오픈소스 프레임워크입니다.핵심 목적: LLM을 문서 검색, 데이터 처리, 사용자 질의응답, 멀티스텝 Reasoning 등에 실제 업무 로직에 연결하기 쉽도록 해줌.주로 RAG(Retrieval-Augmented Generation), 에이전트 기반 챗봇, 검색 기반 질의응답 시스템에 많이 활용됨.✅ LangChain 주요 구성 요소구성 요소설명Pro.. 2025. 6. 27. 검색 증강 생성(Retrieval-Augmented Generation; RAG) ✅ RAG란? (Retrieval-Augmented Generation)RAG는 외부 지식을 검색(Retrieval)하여, 생성(Generation)에 활용하는 AI 기술 방식입니다.즉, "생성형 AI + 검색 시스템"을 결합한 구조입니다. 🔍 개념 요약RAG는 다음 2단계로 동작합니다:Retrieval (검색)주어진 질문에 대해, 벡터 DB 또는 문서 저장소에서 관련 문서나 정보를 검색합니다.주로 FAISS, Weaviate, Elasticsearch, Pinecone 등이 사용됩니다.Generation (생성)검색된 문서를 기반으로, LLM(예: GPT)이 답변을 생성합니다.이때 검색된 문서를 context로 넣어 정확도와 신뢰도를 높입니다.✅ 왜 필요한가?기존 LLM(예: GPT-3.5, GPT-.. 2025. 6. 26. 딥러닝(Deep learning) **딥러닝(Deep Learning)**은 머신러닝의 한 분야이며, **인공신경망(Artificial Neural Network)**을 기반으로 데이터로부터 더 복잡하고 추상적인 패턴을 자동으로 학습하는 기술입니다. ✅ 딥러닝 vs 머신러닝항목머신러닝딥러닝핵심 개념사람이 특징(Feature)을 설계모델이 스스로 특징을 학습알고리즘 예시SVM, 결정트리, 랜덤포레스트 등CNN, RNN, Transformer 등성능소규모 데이터에 유리대규모 데이터에 매우 뛰어난 성능특징 추출 방식수동 설정 (전문가가 설계)자동 추출 (신경망이 스스로 학습)계산 비용비교적 적음매우 큼 (GPU 필수, 병렬 처리 필요) ✅ 왜 “딥”인가?"Deep"은 신경망의 층(Layer)이 깊다는 뜻입니다.단순한 신경망이 아니라, 수십~.. 2025. 6. 26. 감독학습 비감독학습 강화학습 **머신러닝(Machine Learning)**은 컴퓨터가 명시적인 프로그래밍 없이도 데이터를 통해 스스로 학습하고, 예측하거나 판단하게 만드는 기술입니다.감독학습(Supervised Learning), 비감독학습(Unsupervised Learning), 강화학습(Reinforcement Learning)은 머신러닝의 세 가지 대표적인 학습 방법입니다.각각의 개념, 목적, 사용 예시, 차이점을 아래에 정리하였습니다. ✅ 1. 감독학습 (Supervised Learning)🔹 정의입력(Input)과 정답(Output)이 쌍으로 주어진 레이블링된 데이터를 바탕으로 학습하여, 새로운 입력에 대한 출력을 예측하는 방법.🔹 목표입력 → 출력(레이블)을 정확히 예측하는 모델 학습🔹 예시스팸 메일 분류 (스.. 2025. 6. 26. 글리치 문제(Glitch) **글리치(Glitch)**란 소프트웨어 시스템에서 아주 짧은 시간 동안 발생했다가 저절로 사라지는 일시적인 오류 또는 결함을 의미합니다.시스템이 최종적으로 올바른 상태로 수렴하기 전, 잠깐 동안 잘못된 상태가 관측되는 현상으로, 주로 동시성(Concurrency)이나 분산 환경, 이벤트 기반 아키텍처 등에서 흔히 발생합니다.글리치는 일반적으로 자동 복구되며, 로그나 모니터링에서 포착하기 어렵고, 사용자가 인지하지 못하는 경우도 많습니다.EDA(Event-Driven Architecture, 이벤트 주도 아키텍처)에서의 글리치 문제발생 원인:EDA에서는 여러 컴포넌트가 이벤트를 비동기적으로 처리합니다. 이때 네트워크 지연, 서버 부하, 메시지 큐의 특성 등으로 인해 이벤트가 의도한 순서와 다르게 처리되거.. 2025. 6. 16. 이전 1 2 3 4 ··· 17 다음
