공부방

최근 inference time을 통해 모델이 reasoning을 거쳐 답변을 내놓게 하는 방식이 많이 사용되고 있다고 생각했다.이에 따라, RAG에도 그런 방법론을 적용한 논문이 있다가 찾아보다가 리뷰 1. IntroductionLLM의 등장과 CoT (chain-of-thought)와 같은 프롬프트 방법론의 발전으로 인해 많은 자연어 태스크의 발전을 이루었음하지만 모델이 생성하는 텍스트가 항상 사실을 기반으로 생성된다는 보장을 하긴 어려웠음 (ex, hallucination)RAG (Retrieval Augmented Generation) 방법론은 검색 결과를 통해 LLM이 사실 관계에 기반하여 생성할 수 있도록 유도본 논문에서는 CoT를 사용할 시에 reasoning step에서 발생할 수 있는 h..

1. IntroductionRAG를 통해 QA에서의 LLM의 hallucination 문제를 해결할 수 있었음RAG는 질의에 대한 검색을 통해 검색한 문서를 LLM에 입력하지만 생성된 응답(Answer)이 검색된 문서(Context)를 통해 생성된 것인지 확인하는 것은 어렵다 NLI 모델을 통해 검색된 문서를 premise라고 생각하고, 생성된 응답이 entailment hypothesis라고 생각하여 판별할 수도 있으나, 외부 모델을 도입해야 하는 문제 발생Self-Citation은 프롬프트를 통해 모델이 생성한 응답에 대한 출처를 명시하도록 하나, 모델이 프롬프트에 있는 instruction을 완전히 따르지는 못함2. Method총 3단계로 이루어진다. 1. Context-sensitive Token..

https://leetcode.com/problems/minimum-size-subarray-sum/description/자연수를 담고 있는 리스트 nums와 목표 자연수 target이 주어진다nums의 subarray 중, subarray 내의 모든 원소의 합이 target 이상이면서 길이가 가장 짧은 subarray의 길이를 구하는 문제아이디어1. subarray의 시작 지점이 고정이라면, subarray의 합을 늘리기 위해 끝 지점을 늘려가면서 탐색할 수 있음2. subarray의 끝 지점을 늘려가다 합이 target 보다 같거나 커지면 더 이상 subarray를 늘려볼 필요가 없음3. subarray의 합을 줄이기 위해서는 시작 지점을 늘린다-> 기본적인 two-pointer 흐름이니까 기억해둘 ..