LLM의 safetensors 파일을 로컬 시스템에서 사용하기
AiDALab Project/AiDAOps
2025. 7. 20.
시스템에 LLM을 적용하기 위해서는 LLM을 서버에 직접 설치해서 사용하거나 LLM을 서비스하는 업체/기관의 Open API를 사용하여야 합니다.후자의 경우는 유료서비스이므로 개발 중에 사용하기는 부담이 큽니다.사용한만큼 비용이 부과되는데 개발 중에는 테스트를 위해 수없이 많은 호출이 이루어지기 때문에 감당하기가 어렵습니다.그래서 사용하는 방법이 Ollama, LangChain 등을 사용해서 우리의 서버에 직접 LLM을 설치하는 전자의 방식입니다. 내 프로젝트에 LLM을 달아보자(1) - Ollama ( https://aidalab.tistory.com/239 )내 프로젝트에 LLM을 달아보자(2) - Ollama API ( https://aidalab.tistory.com/240 )내 프로젝트에 LLM..
