본문 바로가기


전체 글

Bing AI와 Bard가 추천하는 RTX모델은? AI 관련 기술들/생성형 AI 활용 2023. 5. 19. AI 모델 개발을 하려면 GPU를 사용하기 위한 그래픽카드가 필수죠. 그래픽카드의 비싼 가격을 이유로 구입을 여태 미뤄왔지만 계속 미루기에는 슬슬 한계가 다가오고 있는 것 같습니다. 지금까지는 CoLab 등을 이용하면서 어떻게든 버텨왔지만 Native로 작동하는 모델을 다루는 일들이 점점 늘어나고 있네요. 어떤 모델을 사는 것이 가장 합리적일까.. 라고 계속 고민을 하고 있습니다만.. 아무래도 최고성능을 가진 RTX4090 모델을 사는 것이 가장 좋겠지만 어마어마한 가격이 문제죠. 단순히 CUDA 코어 수만을 따진다면 RTX4080보다는 RTX3080~3090이 더 많은 코어를 가지고 있죠. 그러나 베이스가 되는 아키텍처를 본다면 최신 아키텍처인 Ada Lovelace 아키텍처를 사용하는 RTX40 시리..
AdFit 심사 승인 받았다. 나의 일상 2023. 5. 17. 약 3년 전에 구글 AdSense와 카카오 Adfit에 심사요청을 했었습니다. 구글 AdSense는 금방 승인이 되었는데 카카오 Adfit은 콘텐츠 부족 등을 이유로 심사보류가 났더군요. 흔히 AdSense 승인이 어렵고 Adfit 승인은 쉽게 된다고 하던데 의외였죠. 뭐 급한 것도 아니고 해서 잠시 내버려뒀더니 벌써 3년이 지났더군요. 생각난 김에 어제 오후에 Adfit 페이지를 찾아가서 재심사 요청을 해뒀더니 오늘 아침에 승인 메시지가 날아왔습니다. 이제 이 블로그에 달 수 있는 광고 두 가지는 모두 승인을 받았습니다. 그런데 제 블로그는 AI 및 데이터에 관련된 내용이 중심인데... 매체 카테고리는 "라이프 스타일"로 분류되었군요. 심사때 한 번 결정되면 바꾸지 못한다고 하던데... 뭐... 카테고..
ChatGPT 유료 신청 AI 관련 기술들/생성형 AI 활용 2023. 5. 16. 계속 눈치만 보고 있던 ChatGPT upgrade to plus(유료회원)를 신청하였습니다. ChatGPT에 포함된 GPT의 버전이 3.5인지 4인지 차이가 있다고는 하지만 MS의 Bing에서 별다른 제한 없이 ChatGPT의 기능을 사용할 수 있고 또 ChatGPT의 유료버전 역시 2021년까지의 데이터만 적용된 채로 서비스가 제공되고 있으니 그냥 ChatGPT에서 제공하는 무료 버전도 충분히 사용할 만 하다... 싶기도 하고 굳이 유료로 사용할 필요가 있을까.. 하고 생각해서 여태 미뤄왔었습니다. 그러나 최근 며칠 사이에 시험문제 출제 등 다양한 방법과 목적으로 ChatGPT를 활용해 보니 유료 신청을 하는 것이 좋겠다는 결론을 얻었습니다. 먼저 Bing에서는 ChatGPT의 단점인 최신 정보의 미..
AI 모델 경량화 AiDAOps개발/개발 준비 2023. 5. 16. 최근 AI 모델의 경량화를 사업 아이템으로 하여 서비스를 개발하거나 창업을 하는 회사들이 늘고 있습니다. 좋은 사업모델이기도 하지만 한 편으로는 거대 자본을 기반으로 한 공룡 기업에게 지배당하지 않으려는 발버둥으로도 보여서 약간 씁쓸하기도 합니다. 작년(2022년) 11월 30일에 발표된 ChatGPT를 기점으로 많은 초거대 AI 기반의 생성형 AI가 등장하기 시작하였고 전 세계적인 이슈가 되고 있는데 이러한 시대적 흐름에 편승하고자 하는 기업이 늘어나는 것은 당연한 일일 것입니다. 그러나 이름 그대로 초거대 AI를 기반으로 하기 위해서는 상상하기 어려울 정도의 비용이 요구되고 있죠. ChatGPT를 발표한 OpenAI의 경우도 ChatGPT를 개발하면서 2022년 한 해에 총 5억4천만 달러의 손실을 ..
연합 학습(Federated Learning, FL) AI와 IT 이야기 2023. 4. 28. 2023년 4월 24일~30일까지 윤석열 대통령이 조 바이든 미국 대통령의 초청으로 미국을 국빈 방문하고 있습니다. 이재용 삼성전자 회장과 최태원 SK 그룹 회장을 비롯하여 총 122인의 경제사절단이 동행하여 양국의 협력을 이끌어내고 있습니다. 특히 이번 사절단의 테마가 "첨단사업"이기 때문에 우리가 항상 접하고 있는 반도체, 항공우주, 방위산업, 에너지, 바이오, 모빌리티 등 첨단 산업 분야에서 활약하고 있는 다양한 중소기업과 대기업들이 사절단에 포함되어 있습니다. 이 중에서도 AI 분야에서는 중기부 주관 MOU에서 한국의 하렉스인포텍과 미국 Consilient가 금융 범죄, 돈세탁 방지를 위한 연합학습 기술 기반 AI 협력에 서명하였고, 보건복지부 주관 MOU에서는 한국의 카카오와 미국의 기업이 헬스..
초거대 AI 및 ChatGPT 계열의 가장 큰 문제는 데이터 윤리일까? AI와 IT 이야기 2023. 4. 26. 작년 11월 30일 이후, 초거대 AI와 ChatGPT는 AI 및 IT 업계를 중심으로 지속적인 이슈를 불러오고 있습니다. 초반에는 예상을 뛰어넘는 능력과 성과에 놀라움을 금치못하는 분위기였다면 상황이 진정되기 시작하면서부터는 초거대 AI와 ChatGPT를 이용한 활용성의 검증과 서로 뒤처지지 않으려는 빅테크 기업 중심의 경쟁이 중심이 되었죠. 그런데 지금은 점점 해당 기술을 공개하고 시스템, 서비스를 제공하는 OpenAI를 중심으로 한 관련 기업/기관들의 데이터 윤리가 이슈가 되고 있는 모양새입니다. OpenAI’s hunger for data is coming back to bite it | MIT Technology Review OpenAI’s hunger for data is coming back..
FastAPI에서의 라우팅 AiDAOps개발/개발 준비 2023. 4. 21. 지난 글에서 FastAPI를 기반으로 데이터 파일의 전송과 읽기를 수행하면서 FastAPI() 인스턴스를 사용하여 라우팅을 처리하는 방법을 다루었습니다. FastAPI에서 라우팅을 하는 방법은 그 외에도 APIRouter 클래스를 사용하는 방법이 있습니다. 사실 서비스를 제대로 만들기 위해서는 APIRouter 클래스를 사용할 필요가 있습니다. FastAPI() 인스턴스를 사용하는 라우팅 처리 방법은 단일 경로만을 고려하는 단일 라우트를 위한 방법으로 주로 사용됩니다. 그 이유는 FastAPI() 인스턴스 자체를 사용하는 것이기 때문에 우리는 애플리케이션에서 단 하나의 FastAPI() 인스턴스만 사용할 수 있는데, FastAPI와 연동되는 uvicorn은 하나의 엔트리 포인트(진입점)만 실행할 수 있기..
FastAPI를 기반으로 데이터 파일 전송 및 읽기 AiDAOps개발/개발 준비 2023. 4. 21. 이번 글에서는 FastAPI를 기반으로 데이터 파일 읽기를 해 보겠습니다. 머신러닝이든 데이터 분석이든 가장 처음 처리해야 할 내용은 바로 데이터를 읽고 처리하는 과정이죠. 그래서 데이터 파일을 읽는 것을 가장 먼저 해 보기로 했습니다. 데이터 파일을 서버로 전송하고 읽어들이기 위해서는 해당 API를 호출하도록 만들어진 웹 페이지 또는 애플리케이션이 필요합니다만.. 일단 이번에는 그 과정은 제외하고 FastAPI에서 제공되는 REST API 문서를 이용하도록 하겠습니다. 그리고 이번에 구현하는 코드는 다중파일이 아닌 단일 파일만을 처리하도록 하겠습니다. 아래에서 다루는 내용은 FastAPI 공식 튜토리얼을 참고하였습니다. 먼저 파일을 전송하는 기능을 구현합니다. FastAPI에서는 File 클래스를 이용..
서버 환경 설치 및 설정 AiDAOps개발/개발 준비 2023. 4. 21. 기본 시스템을 어떤 형태로 진행할 것인지 결정되었으니 이제 환경설정이 이루어져야 하겠죠. 가능하면 처음 설정한 환경을 그대로 유지할 수 있으면 좋겠지만... 아마도 중간중간에 계속 바뀌게 될 것 같습니다. ㅠㅠ 어떤 일이 발생할지 모르니까요. 일단 FastAPI를 사용하기로 했으니 해당 라이브러리의 설치부터 해야 되겠죠. 서버 OS: Linuxmint 21.1 (Kernel version: 5.15.0-67-generic) Python Version: 3.10.6 제가 사용하는 서버 하드웨어는 좀 오래된... 10년이 훌쩍 넘은 구형입니다. NVIDIA GPU를 사용하고 있긴 하지만... 구형 칩이라고 GPU 상에서 PyTorch 등이 작동하지 않습니다. ㅠㅠ 최신 서버 장비는... 좀 더 있다가 사야죠..
MLOps는 머신러닝 모델의 라이프 사이클을 운영 및 관리하는 것 AiDAOps개발/개발 준비 2023. 4. 21. MLOps(Machine Learning Operations)란 이름 그대로 머신러닝을 운영하기 위한 시스템이며, 머신러닝을 운영한다는 것은 머신러닝의 생애주기(Life Cycle)를 관리, 운영한다는 말이 됩니다. 그리고 생애주기의 관리라는 것은 같은 과정이 지속적으로 반복되는 것이므로, 이 과정을 효율적으로 수행하기 위해서는 프로세스의 표준화, 그리고 불필요한 과정을 제거하는 등의 간소화 작업이 필요합니다. 즉 MLOps의 핵심은 머신러닝의 생애주기의 관리를 표준화 및 간소화하는 것이라고 할 수 있습니다. 그럼 먼저 머신러닝의 생애주기란 어떤 것인가부터 확인해 보아야겠죠. 다양한 기관 또는 업체에서, 그리고 도서 및 기타 자료에서 다루고 있는 머신러닝의 생애주기를 살펴보면 조금씩 다르긴 합니다만 큰 ..


728x90
반응형

티스토리툴바