내 프로젝트에 LLM을 달아보자(1) - Ollama

요즘 가장 쉽게 접할 수 있는 AI 이슈는 뭐니뭐니해도 LLM의 개발과 활용에 대한 것이겠죠.
그러나 LLM은 개인이 개발하기에는 너무 큰 프로젝트인 것도 사실이므로 대부분의 경우에는 개발이 아니라 활용을 목표로 하게 됩니다.
또한 OpenAI의 GPT 계열은 API를 사용하려면 유료 결제를 해야하기때문에 무료로 제공되는 오픈소스 LLM과 API 셋을 찾아다니게 되죠.
저도 그런 과정을 거치다가 발견한 것이 Ollama 입니다.

Ollama는 로컬 환경에서 LLM을 실행할 수 있도록 지원하는 플랫폼입니다.
Linux, Mac, Windows 모두에서 사용할 수 있지만 Windows 버전은 아직 Preview 상태이기때문에 Linux, Mac의 사용이 권장되는 상황입니다.
Windows에서 사용하려면 Preview 상태로 사용하거나 WSL 등을 이용하여 Linux환경을 구축한 후 사용할 수 있겠네요.
Docker 이미지도 제공되고 있으므로 Docker 환경에서 사용하시는 것도 좋겠습니다.

저는 Linux를 사용하고 있기 때문에 간단하게 적용해 볼 수 있겠군요.
그럼 설치부터 사용까지 해 보도록 하겠습니다.

Linux에서 Ollama의 설치는 간단합니다.

curl -fsSL https://ollama.com/install.sh | sh

위의 명령을 통해서 ollama를 다운로드하여 설치를 바로 진행할 수 있습니다.

설치가 끝났으면 한 번 사용해 보도록 합시다.

먼저 파이썬을 위한 가상환경을 하나 만들고 그 안에서 진행하도록 합니다.

python -m venv myllm
cd myllm
source ./bin/activate

일단 어떤 LLM이 설치되어 있는지 확인하는 것이 먼저겠죠.

ollama list

아직 아무런 LLM이 설치되어 있지 않은 것을 알 수 있습니다.

그럼 LLM을 설치해보도록 합니다.

어떤 LLM을 설치할 것인지 잠시 고민하다가 오늘 날짜의 Open Ko-LLM LeaderBoard를 보고 결정하기로 했습니다.

 

제일 위쪽에 위치한 1위 모델인 OpenChat 모델을 선택했습니다.

 

평가 항목의 내용은 다음과 같습니다.

출처: https://www.aihub.or.kr/leaderboard/view.do?currMenu=500&topMenu=102

 

OpenChat 모델을 선택한 이유는 OpenChat 모델이 리더보드 1위이기도하지만 Open Ko-LLM LeaderBoard에 나오는 모델의 상당수는 Ollama가 지윈하는 모델에 포함되어 있지 않기 때문입니다.

아무래도 한글의 사용성이 평가지표의 내용에 포함되어 있기때문인지... Open Ko-LLM LeaderBoard의 모델들은 일부 유명한 모델을 이용해서 만든 파생 모델이거나... 해서 그다지 지원되지 않네요.

그런데 OpenChat 모델은 리더보드 1위이면서 지원 모델(인기순위가 높지는 않았지만)에 포함되어 있더군요.

그래서 선택하게 되었습니다.

 

 

그럼 OpenChat 모델을 Ollama에 적용해 보겠습니다.

ollama run openchat

 

설치되지 않은 모델을 지정하여 실행할 경우, 처음 실행될 때 해당 모델을 자동으로 다운로드합니다.

 

 

다운로드가 완료되면 바로 메시지를 입력해서 사용할 수 있습니다.

예를 한 번 보시죠.

 

종료할 때에는 "/bye"를 입력해서 종료할 수 있습니다.

 

설치가 된 이후에는 그냥 바로 실행할 수 있죠.

 

 

그럼 마지막으로 설치한 모델의 상태를 살펴보도록 하겠습니다.

모델의 이름(최신버전), ID, 크기(4.1GB), 마지막으로 수정된 기간(4분전) 등이 표시되는 것을 확인할 수 있습니다. 

 

추가 모델을 설치하고 싶을때에는 pull 옵션을 사용하여 Ollama에 LLM을 추가할 수 있습니다.

ollama pull Llama3.1:Latest

 

 

이런 식으로 간단하게 제 로컬 시스템에 LLM을 설치하여 사용할 수 있게 되었습니다.

이후에 해당 모델을 내게 맞게 튜닝하거나 해서 사용할 수 있을 것 같습니다.

LLM을 제 프로젝트에서 사용하기 위한 API 역시 Ollama에서 지원하고 있으니(REST API 중심으로) 큰 문제는 없어 보이네요.

그리고 오픈소스 SW를 사용할 때 제일 주의해서 보게 되는 라이센스도 가장 유연하고 자유롭게 사용할 수 있는 MIT License를 사용하고 있으니 걱정꺼리 역시 줄어든 것 같습니다.

 

Ollama에 대하여 더욱 상세한 내용은 깃허브나 공식 사이트에서 확인하실 수 있습니다.

https://github.com/ollama/ollama

GitHub - ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models.

 

 

여담으로...

LLM의 첫 주자이자 대표격인 GPT(특히 4.0을 기준으로)의 토큰당 가격이 18개월동안 240배 하락했다는 기사가 나왔군요.

(240배 하락이라니.. 표현을 왜 이렇게 하는지... 1/240로 떨어졌다라고 표현하는 것이 올바른 표현이 아닐까 싶네요.)

LLM 간의 경쟁이 치열한 탓도 있지만 메타의 오픈소스 LLM인 Llama 3.1의 영향이 크다고 합니다.

Llama는 Llama 2 버전부터 상업적으로도 이용이 가능한 버전들을 발표하고 있어서 오픈소스 진영에 큰 힘이 되어주고 있습니다.

 

솔직히 메타가 이런 저런 말도 많고 이슈도 많고 하지만 예전 페이스북 시절부터 상당히 좋은 프로젝트를 완전히 오픈소스화 하거나 오픈소스 재단에 코드를 기증하는 등의 일을 많이 해 오고 있기때문에 제 입장에서는 다른 업체들보다 호감이 가네요.

우리에게 좋은 일을 해 주고 있는 업체니까요. ^^

 

https://www.aitimes.com/news/articleView.html?idxno=163053

GPT-4 토큰 가격 18개월 동안 240배 하락..."GPT-5 성공 못 하면 사용료 0으로 떨어질 것" - AI타임스