[AI] 통계적모델, n-gram모델

---

1.통계적 언어 모델(Statistical Language Model)

주어진 텍스트에서 발생할 수 있는 단어 시퀀스의 확률 분포를 모델링하는 방법이다.
확률적 언어 모델링으로 방대한 데이터를 학습하여 어떻게 배치될지에 대한 확률을 예측하고, 이를 바탕으로 문장 생성, 의미 추론 등을 한다.

 

 

1-1.조건부 확률

각 단어 시퀀스는 조건부 확률을 기반으로 예측된다.
예를 들어, "나는 학교에 갔다"라는 문장에서, P(학교에 | 나는), P(갔다 | 학교에)와 같은 확률을 계산하여
문장의 가능성을 평가한다.

 

 

 

 

2.n-gram 모델

기본적인 통계적 언어 모델이다.
n개의 연속된 단어들을 고려하여 확률을 계산한다.

https://botpenguin.com/glossary/n-gram

 

 

2-1. n-gram 특징

n개의 연속적인 단어 나열을 고려하여 계산한다.

• Unigram(1-gram): 각 단어가 독립적으로 등장할 확률을 계산  "나는 학교에 갔다"에서 각 단어에 대한 확률을 계산
• Bigram(2-gram): 두 개의 연속된 단어가 등장할 확률을 계산 , "나는 학교에"와 "학교에 갔다"의 확률을 계산
• Trigram(3-gram): 세 개의 연속된 단어가 등장할 확률을 계산  "나는 학교에 갔다" 전체의 확률을 계산

 

---

🎈참고자료

https://wikidocs.net/24603