본문 바로가기

MLOps

MLOps 시스템 아키텍처 구성요소 분석: MinIO (1) AiDAOps 2024. 12. 10. 이번 글부터는 지난 Perplexity와의 회의(https://aidalab.tistory.com/255)에서 제안받은 MLOps 시스템 아키텍처의 각 요소에 대하여 그 의의와 필요성을 하나하나 체크해 보도록 하겠습니다.먼저 가장 첫 번째로 나온 구성요소인 MinIO에 대하여 살펴보겠습니다. MinIO는 Minimal Object Storage for Input/Output이라는 의미의 용어입니다.그러나 방금 설명드린 표현은 의미는 맞으나 공식적으로 저 이름이 Fullname이라고 말하지는 않는다는군요.Fullname은 별도로 있지 않고 MinIO가 그냥 이름이라고 합니다.의미는 앞에서 설명드린 그대로 입니다.즉 MinIO는 "최소화된 입출력 오브젝트 스토리지"를 의미하며, 이는 간단하고 효율적인 데이터..
회의 002: 시스템 아키텍처 구성하기 AiDAOps 2024. 11. 12. 지난 글에서는 시스템의 기본틀을 생각해 보는 글을 썼죠.이번 글에서는 시스템의 아키텍처를 구성하기 위한 논의를 다루어보겠습니다.논의라기보다는 진행하면서 질문을 이어가는 형태가 되겠네요.그리고 이번 글에서는 Copilot이 아닌 Perflexity(Pro)를 상대로 진행해 보겠습니다.Perflexity는 Copilot보다 말투가 딱딱하네요.(Copilot이 별종 설정인거죠) Perflexity Pro(유료) 서비스를 3개월간 무료 제공하는 쿠폰이 생겨서 등록했는데..등록하고 나니 제가 사용하는 다른 서비스에서 1년간 무료 제공하는 쿠폰이 제공되더군요. ㅠㅠ이미 한 번 등록한 사람은 더 이상 못쓴다고 해서... 3개월로 만족해야 하네요.  ▣ AiDA ▣MLOps 시스템을 구축하려고 해. 개인용 또는 소규모..
FastAPI에서의 라우팅 AiDAOps 2023. 4. 21. 지난 글에서 FastAPI를 기반으로 데이터 파일의 전송과 읽기를 수행하면서 FastAPI() 인스턴스를 사용하여 라우팅을 처리하는 방법을 다루었습니다. FastAPI에서 라우팅을 하는 방법은 그 외에도 APIRouter 클래스를 사용하는 방법이 있습니다. 사실 서비스를 제대로 만들기 위해서는 APIRouter 클래스를 사용할 필요가 있습니다. FastAPI() 인스턴스를 사용하는 라우팅 처리 방법은 단일 경로만을 고려하는 단일 라우트를 위한 방법으로 주로 사용됩니다. 그 이유는 FastAPI() 인스턴스 자체를 사용하는 것이기 때문에 우리는 애플리케이션에서 단 하나의 FastAPI() 인스턴스만 사용할 수 있는데, FastAPI와 연동되는 uvicorn은 하나의 엔트리 포인트(진입점)만 실행할 수 있기..
FastAPI를 기반으로 데이터 파일 전송 및 읽기 AiDAOps 2023. 4. 21. 이번 글에서는 FastAPI를 기반으로 데이터 파일 읽기를 해 보겠습니다. 머신러닝이든 데이터 분석이든 가장 처음 처리해야 할 내용은 바로 데이터를 읽고 처리하는 과정이죠. 그래서 데이터 파일을 읽는 것을 가장 먼저 해 보기로 했습니다. 데이터 파일을 서버로 전송하고 읽어들이기 위해서는 해당 API를 호출하도록 만들어진 웹 페이지 또는 애플리케이션이 필요합니다만.. 일단 이번에는 그 과정은 제외하고 FastAPI에서 제공되는 REST API 문서를 이용하도록 하겠습니다. 그리고 이번에 구현하는 코드는 다중파일이 아닌 단일 파일만을 처리하도록 하겠습니다. 아래에서 다루는 내용은 FastAPI 공식 튜토리얼을 참고하였습니다. 먼저 파일을 전송하는 기능을 구현합니다. FastAPI에서는 File 클래스를 이용..
서버 환경 설치 및 설정 AiDAOps 2023. 4. 21. 기본 시스템을 어떤 형태로 진행할 것인지 결정되었으니 이제 환경설정이 이루어져야 하겠죠. 가능하면 처음 설정한 환경을 그대로 유지할 수 있으면 좋겠지만... 아마도 중간중간에 계속 바뀌게 될 것 같습니다. ㅠㅠ 어떤 일이 발생할지 모르니까요. 일단 FastAPI를 사용하기로 했으니 해당 라이브러리의 설치부터 해야 되겠죠. 서버 OS: Linuxmint 21.1 (Kernel version: 5.15.0-67-generic) Python Version: 3.10.6 제가 사용하는 서버 하드웨어는 좀 오래된... 10년이 훌쩍 넘은 구형입니다. NVIDIA GPU를 사용하고 있긴 하지만... 구형 칩이라고 GPU 상에서 PyTorch 등이 작동하지 않습니다. ㅠㅠ 최신 서버 장비는... 좀 더 있다가 사야죠..
MLOps는 머신러닝 모델의 라이프 사이클을 운영 및 관리하는 것 AiDAOps 2023. 4. 21. MLOps(Machine Learning Operations)란 이름 그대로 머신러닝을 운영하기 위한 시스템이며, 머신러닝을 운영한다는 것은 머신러닝의 생애주기(Life Cycle)를 관리, 운영한다는 말이 됩니다. 그리고 생애주기의 관리라는 것은 같은 과정이 지속적으로 반복되는 것이므로, 이 과정을 효율적으로 수행하기 위해서는 프로세스의 표준화, 그리고 불필요한 과정을 제거하는 등의 간소화 작업이 필요합니다. 즉 MLOps의 핵심은 머신러닝의 생애주기의 관리를 표준화 및 간소화하는 것이라고 할 수 있습니다. 그럼 먼저 머신러닝의 생애주기란 어떤 것인가부터 확인해 보아야겠죠. 다양한 기관 또는 업체에서, 그리고 도서 및 기타 자료에서 다루고 있는 머신러닝의 생애주기를 살펴보면 조금씩 다르긴 합니다만 큰 ..
AiDAOps의 기반 시스템 형태 결정하기 AiDAOps 2023. 3. 2. MLOps는 머신러닝 모델의 라이프 사이클 관리를 위하여 크게 데이터 관리, 모델 개발 및 학습, 모델 관리의 3 부분으로 구성된다고 할 수 있습니다. 그럼 개발하고자 하는 AiDAOps의 기능도 크게 3개의 부분을 기준으로 하는 것이 좋겠죠. 물론 점점 업그레이드 하면서 형태가 바뀔지도 모릅니다. 일단은 데이터 관리 부분을 먼저 진행할 계획입니다. 이어서 머신러닝 모델 개발 및 학습, 모델 관리의 순서로 진행할 것입니다. 그런데 모델 관리 부분은 조금 내용이 바뀔 수도 있을 것 같습니다. AiDAOps는 Personal MLOps를 목표로 하기때문에 모델의 관리가 필요하기는 하지만 모델의 배포라든지... 그런 부분에 대한 관리는 기존의 MLOps에 비하여 중요도가 떨어진다고 해야하나.. 아무튼 비중이나..


728x90
반응형

티스토리툴바