공부방

Heap이란?heap은 우선 순위 큐를 구현하는 자료구조로 이진 트리를 기반으로 구현된다. 부모 노드가 자식 노드보다 큰 경우 최대 힙, 부모 노드가 자식 노드보다 작은 경우 최소 힙이라고 한다. 힙의 삽입 및 삭제 연산은 O(logn)의 시간 복잡도로 이루어진다. 파이썬에 내부에서 사용 방식heapq 모듈을 이용하여 사용할 수 있다. 삽입 (heappush), 삭제 (heappop), 특정 배열을 힙 형태로 만들어주는 함수 (heapify) 지원heappop을 사용하면 배열 내의 가장 작은 값이 나오지만, 값이 삭제된다. 만약 삭제되길 원하지 않는다면 배열의 첫번째 원소에 접근하는 방식으로도 사용 가능하다. 기본적으로 최소힙만 지원하기 때문에 최대힙을 구현하기 위해서는 들어가는 값에 -를 곱해주어야 ..

https://www.superannotate.com/blog/llm-agents LLM agents: The ultimate guide 2025 | SuperAnnotateLLM agents are advanced AI systems that use planning, memory, and tools to solve complex language tasks with context-aware reasoning.www.superannotate.comLLM agent에 대해서 공부하기에 앞서서, 이 글이 LLM agent가 무엇을 하는 것인지에 대해 잘 정리가 되있다고 생각하여 정리해둔다. LLM 에이전트란?LLM 에이전트는 복잡한 텍스트 생성이 필요한 작업에서 순차적 추론 능력을 발휘하는 고급 AI 시스템..

1. IntroductionRAG 방법론은 retrieve-and-generate 과정을 통해 LLM의 hallucination을 제거할 수 있다short-form 생성에는 효과적으로 작동하지만, long-form 생성에는 잘 작동하지 않는다이는 생성 과정 중간에 추가적인 검색 과정을 통해 새로운 외부지식을 넣어줌으로써 해결할 수 있다본 논문에서는 LM이 생성하려는 문장을 통해 LM이 생성하려는 문장이 얼마나 confidence를 가지고 있는지 알아내고, 이를 통해 추가 검색을 수행할 지 말지 결정하는 FLARE 방법론을 제안한다 2. Retrieval Augmented Generation (RAG)2.1 Single-time Retrieval Augmented Generation전체 문서 Corpus ..

최근 inference time을 통해 모델이 reasoning을 거쳐 답변을 내놓게 하는 방식이 많이 사용되고 있다고 생각했다.이에 따라, RAG에도 그런 방법론을 적용한 논문이 있다가 찾아보다가 리뷰 1. IntroductionLLM의 등장과 CoT (chain-of-thought)와 같은 프롬프트 방법론의 발전으로 인해 많은 자연어 태스크의 발전을 이루었음하지만 모델이 생성하는 텍스트가 항상 사실을 기반으로 생성된다는 보장을 하긴 어려웠음 (ex, hallucination)RAG (Retrieval Augmented Generation) 방법론은 검색 결과를 통해 LLM이 사실 관계에 기반하여 생성할 수 있도록 유도본 논문에서는 CoT를 사용할 시에 reasoning step에서 발생할 수 있는 h..

1. IntroductionRAG를 통해 QA에서의 LLM의 hallucination 문제를 해결할 수 있었음RAG는 질의에 대한 검색을 통해 검색한 문서를 LLM에 입력하지만 생성된 응답(Answer)이 검색된 문서(Context)를 통해 생성된 것인지 확인하는 것은 어렵다 NLI 모델을 통해 검색된 문서를 premise라고 생각하고, 생성된 응답이 entailment hypothesis라고 생각하여 판별할 수도 있으나, 외부 모델을 도입해야 하는 문제 발생Self-Citation은 프롬프트를 통해 모델이 생성한 응답에 대한 출처를 명시하도록 하나, 모델이 프롬프트에 있는 instruction을 완전히 따르지는 못함2. Method총 3단계로 이루어진다. 1. Context-sensitive Token..

https://leetcode.com/problems/minimum-size-subarray-sum/description/자연수를 담고 있는 리스트 nums와 목표 자연수 target이 주어진다nums의 subarray 중, subarray 내의 모든 원소의 합이 target 이상이면서 길이가 가장 짧은 subarray의 길이를 구하는 문제아이디어1. subarray의 시작 지점이 고정이라면, subarray의 합을 늘리기 위해 끝 지점을 늘려가면서 탐색할 수 있음2. subarray의 끝 지점을 늘려가다 합이 target 보다 같거나 커지면 더 이상 subarray를 늘려볼 필요가 없음3. subarray의 합을 줄이기 위해서는 시작 지점을 늘린다-> 기본적인 two-pointer 흐름이니까 기억해둘 ..

1. Introductiondual encoder 기반의 모델을 통해, 딥러닝 기반의 검색 모델이 발달하지만, 검색기가 특정 도메인에서 학습이 되었더라도, 다른 도메인에서는 좋은 성능을 보이지 않을 수 있음BEIR 벤치마크는 이러한 문제점을 지적하며 학습 데이터가 없는 상황(zero-shot)에서 검색 성능을 측정하는 벤치마크본 논문에서는 학습 데이터가 적은 상황에서 학습 데이터를 augmentation 하기 위해 LLM을 사용LLM을 통해 생성된 query-document pair에 대한 검증을 위해 round-trip consistency 적용 2. Few-shot Retrieval Task2.1 Retrieval TaskRetrieval은 각 도메인이 가지고 있는 documents D, 사용자 질의..

1. IntroductionLLM의 발전에 따라 검색에도 LLM의 언어 능력을 활용하고자 시도LLM에 query를 입력했을 때 직접적으로 document에 대한 유사도를 생성하도록 하는 접근 방법RankGPT는 query가 주어졌을 때, document들의 유사도를 기반으로 id가 생성되도록 reranking 하는 모델LLM 기반의 모델들은 corpus 내의 모든 document에 대해서는 수행 시간이 너무 오래 걸리기 때문에 reranking 정도만 가능본 논문에서는 LLM을 이용하여 임베딩을 만들고 이를 dual-encoder 구조에 활용하여 검색을 수행 2. MethodLLM에 주어진 query/document를 한 단어로 표현해달라는 prompt를 입력입력된 prompt를 바탕으로 생성된 마지막 ..

최근 중국에서 혜성같이 등장하면서 주식 시장에 큰 파장을 끌고 왔던 DeepSeek 논문에 대해서 리뷰 1. Introduction최근 모델의 성능을 높이기 위해서 모델 학습을 길게 가져가게 하기 보다는 모델이 Chain-of-Thought(COT) 과정을 길게 가져가도록 하는 방향이 연구COT는 사고가 필요한 태스크(수학, 코딩 등)의 성능 향상에 효과적본 논문에서는 COT를 통한 모델 사고 능력의 확장을 강화학습을 통해 이뤄내고자 한다논문에서 비슷한 이름의 모델이 등장해서 먼저 정리하고 들어가자면DeepSeek-V3-Base: 강화학습을 진행하기전의 모델DeepSeek-R1-Zero: DeepSeek-V3-Base에 강화학습을 적용하여 학습한 모델DeepSeek-R1: DeepSeek-R1-Zero를..

저자 마르쿠스 아우렐리우스 (AD 121 ~ AD 180) 철인 황제로 불리며, 로마 제국의 16대 황제 명상록은? 금욕과 절제를 강조한 로마 스토아철학을 대표하는 작품 스토아 철학에서 신은 최고선이며 세계 곳곳에 스며들어 있다. 인간은 신이 주신 이성이라는 능력을 바탕으로 신의 일부로 생각할 수 있다. 또한 인간은 이성을 바탕으로 행동하며, 이는 신이 가지고 있는 가치인 선을 실현하여야 한다고 주장한다. 책의 내용 => 나의 해석 (해석이 없다면 바로 이해되는 내용) 무엇이 나를 괴롭히는가? 인간에게 내재한 악인가? 그렇다면 이렇게 생각하라. 모든 이성적 동물은 서로를 위해 존재하며, 그들 중 누군가가 잘못을 저지르는 것은 그것이 죄악이라는 사실을 모르고 저지르는 것이니, 그들의 행동을 보아 넘기는 것..