본문 바로가기


AiDAOps개발

회의 001: 시스템 기본 틀 구성하기 AiDAOps개발/개발 진행 2024. 10. 18. 개발 진행 카테고리에서는 어떤 식으로 개발을 진행할 것인가.. 등에 대한 내용을 회의의 형식과 진행과정의 소개 등으로 구성할 예정입니다.뭐.. 기존 방식에 Copilot 등의 AI 서비스를 이용한 회의 형식의 내용을 추가한 정도라고 보면 되겠습니다. 이번에 새로 업그레이드된 Copilot은 혼자 진행하는 프로젝트이니.. 혼자서 중얼중얼거리는 것보다는 보조연구원/조수 역할로 AI를 넣어서 도움을 받는 형태라고 생각해 주세요. ^^ ▣ AiDA ▣일단 이번에는 웹서버의 구성에 대해서 이야기해 볼까? ◐ Copilot ◑좋아, 웹서버의 구성을 이해하는 것은 웹 개발의 중요한 부분이야. 기본적으로 웹서버는 클라이언트(사용자)로부터 HTTP 요청을 받아서 그에 맞는 HTTP 응답을 반환하는 역할을 해. 서버의 구..
내 프로젝트에 LLM을 달아보자(4) - LangChain 적용하기 AiDAOps개발/LLM 2024. 10. 17. 지난 글에서는 Ollama라고 하는 프레임워크에 대해서 다루었습니다.이번 글에서는 실제 프로젝트에 LLM을 적용해 볼 수 있도록 LangChain이라는 프레임워크를 사용해서 기능을 구현해 보겠습니다. LangChain이란 대규모 언어모델(LLM)로 구동되는 애플리케이션을 개발하기위한 오픈소스 프레임워크로 파이썬과 자바스크립트 라이브러리를 제공하고 있습니다.기본적으로 거의 모든 LLM을 위한 인터페이스가 컨셉이므로 일단 LLM 모델을 설정하고 LLM을 위한 애플리케이션을 구축한 다음 통합할 수 있는 중앙집중식 개발 환경을 갖추고 있다고 합니다.그리고 LLM 모델이 설정되고 나면 그 이후의 코드는 거의 동일한 메소드와 함수 등을 사용하기때문에 코드의 개발이 매우 쉽고 간소화 할 수 있다는 장점이 있습니다. ..
내 프로젝트에 LLM을 달아보자(3) - 잘못된 대답 고치기 AiDAOps개발/LLM 2024. 9. 6. 이번 글은 프로그래밍 기술적인 부분은 아니고...그냥 심심해서 ollama를 통해서 openchat 모델에 간단한 수학 계산을 시켜본 결과입니다. 리더보드에 나온 평가 지표에는 수학계산 및 표현에 대한 지표도 있었던 것으로 기억하는데...과연 openchat의 표현능력은 얼마나 되나.. 궁금했습니다.그래서 아주 간단하게 x의 제곱을 미분한 결과를 설명해달라고 해 보았습니다. 아래는 그 결과입니다.미분 결과는 틀리지 않았는데 중간에 설명하는 부분이 잘못되었더군요.한 번 지적해 보았는데 제대로 고치지 못하길래 이렇게 고치는 것이 어떠냐.. 라는 식으로 딱 집어서 말해 보았습니다. 그래도 명확하게 지적한 부분은 제대로 이해하고 수정을 하네요.알고 있는 기능이지만 이렇게 보면 새삼 대단한데~ 싶습니다. ^^
내 프로젝트에 LLM을 달아보자(2) - Ollama API AiDAOps개발/LLM 2024. 9. 5. 지난 글에서 Ollama를 이용하여 로컬 시스템에서 LLM을 설치하고 사용해 보았습니다.그럼 내 프로젝트에 LLM을 적용하려면 어떻게 해야 할까요?기본적으로 LLM은 질의 메시지를 전달하면 결과를 돌려주는 방식이기때문에 프로젝트 내에서도 LLM으로 질의를 던져주고 결과를 받아오는 API를 사용하면 그걸로 끝이라고 볼 수 있습니다.그 외에는 뭐가 필요할까... 생각해보면 Web 환경에서 사용할 수 있는 UI 등이 있을 수 있겠죠.좀 복잡하지만 강력한 기능을 자랑하는 Open-WebUI, 간편하게 사용할 수 있는 Chatbot-Ollama 등 다양한 UI가 제공되고 있습니다.그러나 불행히도 많은 UI가 JavaScript 계열의 환경으로 되어 있습니다.뭐.. WebUI니까 어찌보면 당연하기도 합니다.그런데 ..
내 프로젝트에 LLM을 달아보자(1) - Ollama AiDAOps개발/LLM 2024. 9. 4. 요즘 가장 쉽게 접할 수 있는 AI 이슈는 뭐니뭐니해도 LLM의 개발과 활용에 대한 것이겠죠.그러나 LLM은 개인이 개발하기에는 너무 큰 프로젝트인 것도 사실이므로 대부분의 경우에는 개발이 아니라 활용을 목표로 하게 됩니다.또한 OpenAI의 GPT 계열은 API를 사용하려면 유료 결제를 해야하기때문에 무료로 제공되는 오픈소스 LLM과 API 셋을 찾아다니게 되죠.저도 그런 과정을 거치다가 발견한 것이 Ollama 입니다.Ollama는 로컬 환경에서 LLM을 실행할 수 있도록 지원하는 플랫폼입니다.Linux, Mac, Windows 모두에서 사용할 수 있지만 Windows 버전은 아직 Preview 상태이기때문에 Linux, Mac의 사용이 권장되는 상황입니다.Windows에서 사용하려면 Preview ..
Tensorflow를 위한 GPU 설정 포기! 그냥 PyTorch로 가야겠다. AiDAOps개발/개발 준비 2024. 6. 9. 최근 몇 년은 강의에 집중하다보니 수강생들에게 동일한 실습 환경을 제공하기 위하여 Google에서 제공하는 CoLab을 이용하고 있었습니다.그러나 대부분의 강의는 커리큘럼 중 프로젝트를 진행해야 하는데..최근에는 강의의 주제가 CoLab이 아닌 로컬 시스템에 개발 환경을 구축해야 하는 방향으로 조금씩 바뀌어가고 있다보니 해당 환경을 구축하는 과정이 필요해지고 있습니다. 저도 개발을 진행하기 위해서는 환경 구축이 필요하기때문에 이번 기회에 싹 정리하자.. 라고 생각해서 며칠 동안 작업을 진행하며 진행 과정을 정리하고 있었는데....AI 모델을 처리해야 하기때문에 GPU의 설정이 필수이므로 Tensorflow를 위한 GPU 환경 설정 작업을 하다가 몰려오는 짜증에 그냥 때려쳐야겠다.. 라고 생각하게 되었습니..
AiDAOps개발 시 적용할 DB관련 조사 AiDAOps개발/사전조사(by LLM) 2024. 1. 26. MLOps 종류의 하나로 개발을 진행하는 AiDAOps에도 DB(Database)가 사용됩니다. 당연히 시스템을 위한 다양한 정보가 사용되니까 DB가 있어야겠죠. 일반적으로는 MySQL을 많이 사용하게 됩니다. 그러나 MySQL의 경우 오픈소스라고는 하지만 기본적으로 GPL (General Public License) 2.0을 따르고 있습니다. GPL 2.0의 경우에는 개인적으로 그냥 사용하는 경우에는 무료이지만 상용이나 영리 목적으로 사용하는 경우에는 구매를 해야하며 또 뭔가 수정을 가하는 경우에는 소스코드를 모두 공개해야 하는 등의 다양한 제약이 따르죠. Oracle의 MySQL 정책에 반발하여 개발된 MariaDB도 마찬가지로 GPL 2.0을 따르고 있습니다. 사실 개인적으로 사용하기 위한, 또는 ..
LLM 모델들을 학습하기 위한 시스템 사양은 어떻게 될까? AiDAOps개발/사전조사(by LLM) 2024. 1. 24. 최근 LLM(Large Language Model, 대형언어모델)에 대한 많은 관심 속에서 더욱 가볍게 학습시키고 사용할 수 있는 sLLM(smaller Large Language Model, 경량화 대형언어모델)이 주목을 받고 있죠. 얼마 전까지는 더욱 많은 파라미터를 사용하는.. 경쟁사보다 더욱 큰 모델을 개발하여 발표하는 것이 중심이었다면 최근에는 더욱 작은 모델로 더 좋은 성능을 내는 기술을 중심으로 하고 있다고 보입니다. 특히 2024년 CES와 함께 온디바이스에서의 AI와 같은 저성능의 단말기기에서 AI, 특히 LLM과 같은 기능을 지원하고자 하는 흐름이 퍼지기 시작하면서 이런 추세는 더욱 강해지고 있는 것 같습니다. 그래서 이번에는 이러한 LLM 모델들을 학습하기 위한 시스템 사양은 어떻게 ..
작업 계획을 위한 관련 정보의 사전조사를 LLM으로 하면 편하겠다 AiDAOps개발/사전조사(by LLM) 2024. 1. 24. AiDAOps의 개발을 진행하려면 다양한 정보가 필요하게 됩니다. 뭐 AiDAOps만이 아니라 어떤 것을 하더라도 마찬가지겠죠. 예전에는 일반적으로 인터넷 검색, 도서 검색, 논문 검색 등을 기본으로 정보를 조사하고, 이러한 정보들을 기반으로 시스템의 설계와 모듈 구성, 코드 개발 등을 진행했는데... 사실 시간이 매우 많이 걸리는 작업입니다. 그런데 요즘에는 LLM이라고 하는 아주 좋은 도구가 있죠. ^^ 예전에 수십 분 ~ 수 시간을 투자하여 조사를 할 내용을 LLM에게 지시하면 몇 초 이내에 결과를 보여줍니다. 물론 환각현상(Hallucination)과 같은 LLM의 특징으로 인해 해당 내용을 100% 신뢰할 수는 없지만 이러한 정보를 사전조사하는 것은 그 결과를 전적으로 믿기 위해서가 아니라 단지..
DevOps와 MLOps AiDAOps개발/MLOps 2023. 12. 10. DevOps는 'Development(개발)'와 'Operations(운영)'가 결합해서 만들어진 용어입니다. 그렇지만 단순히 두 개의 용어가 결합했다는 의미를 넘어 좀 더 포괄적인 개념을 가지고 있습니다. DevOps는 어떤 하나의 아이디어가 사용자에게 가치를 제공할 수 있도록 운영 환경에서부터 개발, 배포 과정을 거치면서 진행 프로세스의 속도를 높이는 접근 방식이며, 개발자와 운영자가 상호 협력해가면서 비즈니스의 가치를 실현하는 개념을 가리키고 있습니다. DevOps는 개념이기 때문에 어떤 특정한 방법론을 가리키지는 않습니다. DevOps에는 보안, 협업 방식, 데이터 분석을 비롯하여 여러가지의 요소가 포함되는데, "10+ Deploys Per Day: Dev and Ops Cooperation at..


728x90
반응형

티스토리툴바