[LangChain] llama 로컬환경에서 사용하기

---

1.llama (Large Language Model Meta AI)

Meta AI에서 개발한 대규모 언어 모델이다.
다양한 언어 작업에서 뛰어난 성능을 제공한다.

 

 

 

 

 

 

2.ollama 설치

우선 개인 PC나 서버에서 프라이버시를 유지하면서도 대규모 언어 모델(LLM)을 활용할 수 있도록 설계된 플랫폼인 
ollama를 설치한다.

 

https://ollama.com/download

Download Ollama on macOS

 

 

 

 

3.llama 설치

설치가 완료되면  다시 위에 링크에 들어가서 Models 에 들어간다.

여러 모델들이 존재하며 본인이 원하는 모델을 다운받는다.
나는 llama3.1 의 8b 모델을 다운받았다.

 

 

 

 

 

 

 

4.로컬에서 실행해보기

다음 명령어를 터미널에 입력해서 모델을 직접실행해볼수있다.

ollama run 모델이름버전:크기
ollama run llama3.1:8b

 

 

질문을 할수있다.

 

 

 

 

 

 

5.LangChain에서 사용하기

우선 llama를 langchain에서 사용하기 위해 필요한 라이브러리를 pip을 통해 설치한다.

pip install langchain-ollama

 

 

 

다음으로 LangChain에서의 사용을 확인할수있다.

from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_ollama import OllamaLLM

llm = OllamaLLM(model="llama3.1")

template = "{country}의 수도는 어디입니까?"

prompt = PromptTemplate.from_template(template=template)
chain = prompt | llm | StrOutputParser()

while True:
    country = input("나라를 입력하세요: ")
    result = chain.invoke({"country": country})
    print(result)