본문 바로가기

전체 글

소형 LLM의 간단한 대답 수준을 비교해 보았다. AiDAOps 2025. 8. 11. 제가 개발하려는 시스템에 소형 LLM을 적용하겠다는 개발 계획에 따라 최근 LLM의 소형모델들을 로컬시스템에서 작동시키고 간단한 질문에 대한 대답을 비교해 보았습니다.많은 모델들이 공개되어 있지만 이번에 비교해 본 모델은 이전 포스트에서 다루었던 HyperCLOVAX-SEED-Text-Instruct-0.5B, HyperCLOVAX-SEED-Text-Instruct-1.5B와 EXAONE-3.5-2.4B-Instruct-BF16, EXAONE-3.5-2.4B-Instruct-q8_0, 그리고 이번에 발표한 GPT-OSS:20B 모델입니다. 질문의 "하늘이 왜 파란지 설명해줘"라는 내용입니다.그냥 질문했을 때의 대답과 "조금 더 자세하게 설명해줘"라는 대답을 비교하였습니다. 많은 전문가들은 특정 벤치마크 ..
GPT-OSS / GPT-5의 발표.. 그 밑에 깔린 OpenAI의 전략은 무엇일까? AI & IT 이야기 2025. 8. 9. UTC(협정 세계시, Universal Time Coordinated) 기준 8월 5일, OpenAI가 GPT-OSS모델(gpt-oss-120b/gpt-oss-20b)를 Open Weight 방식으로 공개했습니다. ( https://openai.com/ko-KR/index/introducing-gpt-oss/ ) 2019년 GPT-2 이후로 OpenAI는 폐쇄모델의 기조를 유지해오고 있었던터라 6년만에 발표된 Open Weight 모델에 업계 및 학계의 많은 관심이 쏠리고 있습니다. Open Weight 방식이란 모델의 학습된 파라미터(Weight, 가중치), 즉 신경망의 뇌에 해당한다고 할 수 있는 모델의 모든 연결 값을 공개하는 방식을 말하며 Hugging Face 등에서 다운로드 할 수 있는 .sa..
국가 대표 인공지능 모델 5개팀 선정과 우리가 얻을 것 AI & IT 이야기 2025. 8. 5. 과학기술정보통신부에서 주관, 추진하는 "독자 AI 파운데이션 모델" 사업에서 네이버 클라우드, 업스테이지, SKT, NC AI, LG경영개발원 AI연구원의 5개 컨소시엄이 정예팀으로 선정되었습니다. https://www.aitimes.kr/news/articleView.html?idxno=35928 국가 대표 인공지능 모델, '네이버클라우드-업스테이지-SKT-NC AI-LG AI연구원' 5개팀 선정 - 인공지과학기술정보통신부(장관 배경훈, 이하 과기정통부)는 \'독자 인공지능 기초 모형(AI 파운데이션 모델)\' 사업(프로젝트)에 참여한 정예팀 서면평가(15→10팀 압축), 발표평가를 거쳐, 5개 정예팀으www.aitimes.kr 총 15개의 팀이 지원해 서면평가와 발표평가를 통과한 5개 팀이 선정되었으..
증권사의 REST Open API 지원 AI 기반 주식트레이딩 2025. 8. 4. 2022년부터 한국투자증권(KIS)을 시작으로 다양한 증권사들이 REST 타입의 Open API를 제공하기 시작했습니다.예전에 증권사에서 제공했던 API는 구형 Windows 시스템에서 사용되던 COM 타입의 요소들로 구성된 시스템을 기반으로 만들어졌기 때문에 32비트에서만 작동하는 한계점을 가지고 있었고, 또한 최신 OS의 기능 및 성능에 미치지 못하는 구형 API 셋을 설치해야만 하는 문제가 남아있었죠. 그 때문에 REST API를 제공해야 한다는 주장이 진작부터 제기되었지만 증권사들의 대응은 지지부진했고, 아무런 발전없이 계속 이어져 왔던 상황이 2022년을 시작으로 바뀌기 시작한 것입니다.현재는 한국투자증권 외에도 키움증권, LS증권(구 이베스트증권) 등에서 REST 형식의 Open API를 제공..
FastAPI 기반 코드에서 라우팅 방법의 차이에 대하여 AiDAOps 2025. 7. 23. FastAPI를 기반으로 하는 서비스를 만들기 위해서는 기능 구현 후 해당 위치로 찾아갈 수 있는 라우트를 구성해야 합니다.예전에 구매했던 FastAPI 도서를 참고해서 기본 코드를 확인하고 있는데...이상한 설명이 보이더군요. 일반적으로 확인하는 기본 라우팅 코드는 다음과 같습니다. from fastapi import FastAPIapp = FastAPI()@app.get("/")async def welcome() -> dict: return { "message": "Hello World!"} 위의 코드는 URL + "/"의 경로가 주어지면 "Hello World!"를 출력하는 코드입니다.여기까지는 아무런 문제가 없습니다만..해당 도서에서는 다음과 같은 설명을 하고 있더군요. 이렇게 FastAPI..
FastAPI와 LangChain, Ollama를 이용한 LLM 기반 웹 서비스(1) AiDAOps 2025. 7. 23. AiDAOps 시스템구조 설계를 진행하다보니 계속 제자리 걸음입니다.조금 진행하다보면 테스트한답시고 멈춰서 이것저것 건드리다가 강의가 들어오면 그거 하다가..개발이 제대로 진척되지 않네요.그래서 방법을 바꾸었습니다.사용할만한 작은 기능들을 하나씩 만들면서 그냥 그때그때 수정해 나가는 방식으로 하기로 했습니다.그렇다고.. 무턱대고 만들어선 제대로 된 시스템이 되지 않을테니 필요한 기능을 만들고 추가하면서 추가 시점에 해당 기능에 관련된 구조까지만을 설계에 반영하는 형태로 진행하려고 합니다.솔직히 작업하면서 뭔가 눈에 띄는 결과물이 없으면 의욕도 나지 않고..사실 어떤 코드가 어떻게 들어올지도 잘 모르는 상태에서 큰 시스템을 혼자 설계하고 있는 것이 썩 재미있지는 않네요.제일 처음 만들어볼 내용은 FastA..
LLM의 safetensors 파일을 로컬 시스템에서 사용하기 AiDAOps 2025. 7. 20. 시스템에 LLM을 적용하기 위해서는 LLM을 서버에 직접 설치해서 사용하거나 LLM을 서비스하는 업체/기관의 Open API를 사용하여야 합니다.후자의 경우는 유료서비스이므로 개발 중에 사용하기는 부담이 큽니다.사용한만큼 비용이 부과되는데 개발 중에는 테스트를 위해 수없이 많은 호출이 이루어지기 때문에 감당하기가 어렵습니다.그래서 사용하는 방법이 Ollama, LangChain 등을 사용해서 우리의 서버에 직접 LLM을 설치하는 전자의 방식입니다. 내 프로젝트에 LLM을 달아보자(1) - Ollama ( https://aidalab.tistory.com/239 )내 프로젝트에 LLM을 달아보자(2) - Ollama API ( https://aidalab.tistory.com/240 )내 프로젝트에 LLM..
AI 에이전트의 개발과 웹 브라우저 AI & IT 이야기 2025. 7. 19. 얼마 전, 세계적으로 손꼽히는 LLM 기반의 AI 서비스 회사 중 하나인 퍼플렉시티가 AI 웹 브라우저인 Comet을 출시하였습니다.주요 글로벌 AI 기업들 사이에서는 Github Copilot, Cursor 등 AI 기반 개발 도구들의 출시가 바이브 코딩의 인기와 함께 유행처럼 번지고 있는데 일견 동떨어진 것처럼 보이는 웹브라우저를 출시한 이유에 대하여 퍼플렉시티의 아라빈드 스리니바스 CEO는 "AI 챗봇이 진정한 에이전트가 되려면 사용자의 맥락을 모두 읽어내야 하며, 이를 가능케 하는 사용자 인터페이스(UI)는 브라우저 뿐"이라고 의견을 밝혔고, 브라우저는 "현재 AI 챗봇을 넘어, 엔드투엔드 워크플로우를 구축하는 유일한 방법"이라고 주장했습니다.https://www.aitimes.com/news/a..
48살이 된 체스게임기 ATARI 2600의 승리 AI & IT 이야기 2025. 7. 18. 지난 5월 OpenAI의 ChatGPT가 약 48년 전(1977년 9월)에 개발된 체스게임기인 "ATARI 2600"과 체스 대결을 하여 무기력하게 패배하였습니다.그리고 며칠 전, Microsoft의 Copilot도 역시 "ATARI 2600"과의 체스 대결에서 참패하였습니다.마찬가지로 "ATARI 2600"과의 체스 대결을 추진 중이던 Google의 Gemini는 인터뷰에서 자신만만한 태도를 보였으나 두 모델의 참패 소식을 들은 후 즉시 태도를 바꾸고 자신의 한계를 인정하며 시합을 포기했다고 합니다. https://www.aitimes.com/news/articleView.html?idxno=200652 제미나이, 챗GPT·코파일럿 패배 소식에 체스 경기 포기 선언 - AI타임스구글의 '제미나이'가 1..
앞으로의 기술은 어디로 갈까? AI & IT 이야기 2025. 6. 26. 최근 AI 업계는 다양한 곳에서 새 출발을 하려는 모양새를 보이고 있습니다.국내에 국한되지 않고 전 세계적인 추세군요.신경망~딥러닝으로 흐르는 기본적인 AI 기술이 중심이 된 1차전과 LLM이 중심이 된 2차전이 마무리되고..이제 전 세계가 새로운 3차전에 돌입할 준비를 하고 있습니다. 아마.. 이 3차전이 AI 기술의 주도권을 잡기 위한 마지막 전장이 되지 않을까.. 생각합니다.또한 블로그에서, 그리고 지금까지 해 왔던 여러 강의에서 수 년 전부터 자주 이야기해 왔던 "AI는 사회 인프라의 영역으로 자리잡게 될 것이며.. 특별한 기술이 아닌 누구나 사용할 수 있는 기술, 그러나 사용하지 못하면 도태될 수 밖에 없는 그런 기술이 될 것이다"라는 이야기가 현실로 다가올 시점이라고 생각합니다. 올해 상반기부..


728x90
반응형

티스토리툴바