전체 글

1.Bag of Words단어의 빈도만을 고려하는 국소 표현(Local Representation)방법의 일종이다. 문서에 포함된 단어들의 순서를 무시하고 빈도를 기반으로 수치 벡터를 생성한다.각단어의 고유 번호와 빈도로 구성된다. from konlpy.tag import Oktokt = Okt()def build_bag_of_words(text): # 토큰화 tokens = okt.morphs(text) tokens = [token for token in tokens if token.isalnum()] # 알파벳 및 숫자만 필터링 word_idx = {} # 단어와 인덱스를 매핑 freq = [] # 단어의 빈도 for word in tokens: ..

1.국소 표현(Local Representation)각 개체가 독립적인 방식으로 표현되며, 개체 간의 관계나 상호작용은 고려되지 않는 방법각 개체(단어, 문자, 객체 등)를 고유한 고정된 벡터나 값을 통해 표현한다."사과"는 [1, 0, 0, 0]으로, "배"는 [0, 1, 0, 0]처럼 각각 고유한 벡터를 가진다.     2.분산 표현(Distributed Representation)각 개체는 벡터의 여러 차원에 의해 표현되며, 유사한 개체는 비슷한 벡터 값을 가지게 된다.각 개체를 다수의 값(또는 차원)을 가지는 벡터로 표현한다."왕" - "남자" + "여자" = "여왕"이라는 식으로 관계를 파악할 수 있다.더 높은 수준의 의미적 처리가 가능

1.트레이드오프(Trade-off)두 가지 이상의 상충되는 요구사항이나 목표 사이에서 어떤 선택을 해야 할지 결정하는 과정을 의미하는 단어입니다.소프트웨어 개발과정뿐 아니라 일상에서 들을수있는 과정입니다.성능 vs. 가독성 속도 vs. 안정성메모리 사용 vs. 처리 속도개발 속도 vs. 품질와같은 요소들로 트레이드오프를 고려해야합니다. 모든 목표를 동시에 최적화하는 것은 어려운일이기에 개발자는 우선순위를 정해서 이런 요소들을 해결해야합니다.    https://ko.wikipedia.org/wiki/%ED%8A%B8%EB%A0%88%EC%9D%B4%EB%93%9C%EC%98%A4%ED%94%84 트레이드오프 - 위키백과, 우리 모두의 백과사전위키백과, 우리 모두의 백과사전. 트레이드오프(trade-off..

1.통계적 언어 모델(Statistical Language Model)주어진 텍스트에서 발생할 수 있는 단어 시퀀스의 확률 분포를 모델링하는 방법이다.확률적 언어 모델링으로 방대한 데이터를 학습하여 어떻게 배치될지에 대한 확률을 예측하고, 이를 바탕으로 문장 생성, 의미 추론 등을 한다.  1-1.조건부 확률각 단어 시퀀스는 조건부 확률을 기반으로 예측된다.예를 들어, "나는 학교에 갔다"라는 문장에서, P(학교에 | 나는), P(갔다 | 학교에)와 같은 확률을 계산하여 문장의 가능성을 평가한다.    2.n-gram 모델기본적인 통계적 언어 모델이다.n개의 연속된 단어들을 고려하여 확률을 계산한다.  2-1. n-gram 특징n개의 연속적인 단어 나열을 고려하여 계산한다.Unigram(1-gram): ..

1.soynlp한국어 자연어 처리를 위한 오픈 소스 라이브러리학습 기반 모델을 사용하여 단어를 자동으로 분리하고, 여러 가지 텍스트 전처리 작업을 효율적으로 수행할 수 있도록 돕는다.불용어 처리와 어근 추출 등 다양한 기능을 제공하여 한국어 텍스트를 분석할 때 유용하다. https://github.com/lovit/soynlp GitHub - lovit/soynlp: 한국어 자연어처리를 위한 파이썬 라이브러리입니다. 단어 추출/ 토크나이저 /한국어 자연어처리를 위한 파이썬 라이브러리입니다. 단어 추출/ 토크나이저 / 품사판별/ 전처리의 기능을 제공합니다. - lovit/soynlpgithub.com   1-1.응집확률(cohesion probabilities)응집 확률은 주로 텍스트 내에서 단어나 구가 ..

1.지도 학습(Supervised Learning)지도 학습(Supervised Learning)은 기계 학습의 한 유형으로, 라벨이 붙은 데이터를 사용하여 모델을 학습시키는 방법이다. 입력 데이터(Feature)와 해당 데이터에 대한 정답(Label)을 함께 제공하며 모델이 새로운 데이터에 대한 정답을 예측할수 있도록 학습한다.    1-1.지도학습의 특징지도학습은 입력 데이터에 정답이 포함되어있는 형태로 학습시켜야하기때문에 이를 모으는데 어려움이 있을수도있다.    분류(Classification) , 회귀(Regression) 작업에 유리하여 입력 데이터를 사전 정의된 범주 중 하나로 분류하거나 연속적인 값을 예측하는데 주로 사용된다.

1.할루시네이션(Hallucination)인공지능 모델(특히 자연어 처리 모델)이 사실이 아니거나 근거가 없는 정보를 생성하거나 질문과 상관없는 잘못된 답변을 만들어내는 현상을 말한다. 그럴듯하지만 사실이 아닌 정보를 AI가 생성해내며 이경우 AI가 자신감있게 정보를 말하기 때문에 사용자는 잘못된 정보를 얻을수있다.    2.Hallucination 방지사용자 입장에서 이런 Hallucination을 방지하기 위해서는 입력을 좀더 자세하게 해야할 필요가있다.질문의 범위를 제한하거나 구체적이고 추가 검증과정을 거치는것이 좋다.

0.라우터 (Router)라우팅(Routing)은 웹 애플리케이션에서 사용자가 요청한 URL에 따라 적절한 페이지나 컴포넌트를 표시하는 과정을 의미한다. 즉 Controller 역할 수행하며 url에 page를 Mapping하는것이다.    1.React routerReact Router는 React 애플리케이션에서 클라이언트 측 라우팅을 구현하기 위한 라이브러리이다.본래 다른 URL로 이동하게 되면 SPA를 유지하지 못하며 다시 해당 URL에 매핑되는것을 불러와야하지만 해당 React router가 있다면 React 애플리케이션의 URL 경로에 따라 어떤 컴포넌트를 렌더링할지 제어하기에 전체 페이지를 새로 고침하지 않고, URL만 변경하면서 다른 화면을 표시하는 방식을 사용할수있다.  URL 경로에 맞..