본문 바로가기
728x90

AI 관련 기술들/Data 분석

데이터 과학자를 위한 금융 분석 총론: 2장. 금융 분석 전문 언어, R (1) AI 관련 기술들/Data 분석 2022. 7. 8. 이번 장에서는 데이터 분석에 많이 사용되고 있는 언어인 R에 대한 간략한 소개와 사용법을 다루고 있습니다. 1976년에 AT&T의 벨 연구소에서 Rick Becker, John Chambers, Doug Dunn, Paul Tukey, Graham Wilkinson에 의해 개발, 발표된 이후로 통계분석 분야에서 많이 사용되던 언어가 S 언어입니다. R 언어는 이러한 S 언어 프로젝트를 기반으로 개발된 오픈소스 변형으로, 뉴질랜드 오클랜드 대학의 Robert Gentleman, Ross Ihaka에 의해 개발되어 1993년에 처음 공개되었습니다. R 언어의 문법과 통계처리 부분은 S언어를 참고하여 개발되었고, 데이터 처리 부분은 Scheme의 영향을 받았습니다. R 언어의 대표적인 장점 두 가지는 먼저 L..
데이터 과학자를 위한 금융 분석 총론: 1장. 분석적 사고 AI 관련 기술들/Data 분석 2022. 7. 7. "데이터 과학자를 위한 금융 분석 총론"의 "1장. 분석적 사고"에서는 금융 분석에 대한 기본적인 개요와 소개를 다루고 있기때문에 별다른 내용은 없다고 볼 수 있습니다. 핵심 내용을 간단히 추려보면 다음과 같겠네요. 빅사이언스(Big Science)라는 단어에서 유래된 신조어인 "빅데이터(Big Data)"는 공용 메모리 및 하드웨어 디스크와 전통적인 파일 및 관계형 데이터베이스에 적합하지 않은 데이터집합을 설명하는데 사용하는 용어다. 위키피디아와 같은 매체를 보면 "빅 데이터는 통상적으로 사용되는 데이터 수집, 관리 및 처리 소프트웨어의 수용 한계를 넘어서는 크기의 데이터"라는 식으로 정의를 내리고 있는데... 내용은 크게 다르지는 않지만 왠지 미묘한 표현의 차이가 느껴집니다. 이 책은 금융 분석을 수..
데이터 과학자를 위한 금융 분석 총론: 시작 AI 관련 기술들/Data 분석 2022. 7. 2. 최근 강의 준비나.. 관련된 일들에 밀려 스스로 공부를 하지 않게 되었습니다. 슬슬 이대로는 안되겠다.. 라는 생각이 들 때가 왔네요. 그래서 일하는 도중이라도 갖고 있는 책들을 하나씩 공부해 나가기로 했습니다. 쉬운 초급 수준의 책은 그냥 건너뛰고 약간 난이도가 있는 책을 중심으로 보는게 나을 것 같습니다. 초급 수준의 책도 중요하지만 그것까지 모두 다루기엔 책이 너무 많아요.. ㅠㅠ 처음으로 선택한 책은 데이터 과학자를 위한 금융 분석 총론: R로 학습하는 핵심 금융 분석의 이론과 실제 (Financial Analytics with R: Building a Laptop Laboratory for Data Science) 마크 베넷, 더크 휴겐 지음 / 홍영표, 오승훈 옮김 | 에이콘 입니다. 제목에서..
데이터 분석의 힘: 6~7장 AI 관련 기술들/Data 분석 2020. 1. 4. 이번 글에서는 "데이터 분석의 힘"에 대한 마지막 부분인 6~7장에 대하여 살펴보겠습니다. 6~7장은 지금까지 다루었던 RCT, RD디자인, 집군분석, 패널 데이터 분석 등의 인과관계를 밝히기 위한 데이터 분석 방법을 어떻게 실무에 잘 활용할 수 있는지에 대한 원칙, 조언 등을 예시와 함께 이야기하고 있습니다. 이러한 다양한 원칙과 조언들의 바탕에는 "근거 기반 정책"이 있습니다. "근거 기반 정책"이란 모든 정책을 수립하기 위해서는 반드시 그 근거가 되는 분석된 데이터가 기반이 되어야 한다는 것인데, 구글을 포함한 실리콘밸리의 다양한 기업과 기관에서 활용되면서 점차 퍼져나가기 시작했습니다. 이러한 움직임은 세계 정치의 중심이라고 할 수 있는 워싱턴DC까지 번져나갔으며, 오바마 전 대통령은 "근거 기반 ..
데이터 분석의 힘: 5장 AI 관련 기술들/Data 분석 2019. 12. 26. 이번 글에서는 시간의 흐름에 따른 패널 데이터 분석에 대하여 이야기 하겠습니다. 먼저 패널 데이터란 무엇일까요? 패널 데이터란 복수의 집단에 대하여 복수의 기간에 걸쳐 수집한 데이터를 말합니다. 예를 들면 지역별 부동산 데이터를 다년간 관측하는 것 등을 들 수 있습니다. 패널 데이터 분석은 RCT가 불가능할 때 사용할 수 있는 자연실험 기법 중 하나입니다. 기존에 존재하는 데이터의 흐름을 변화시킬 수 있는 어떤 조건이 주어졌을때, 해당 조건의 실행에 영향을 받은 집단과 영향을 받지 않은 집단이 있다면 RCT처럼 실험을 하지 않더라도 개입집단과 비교집단이 저절로 만들어질 수 있는데, 이 경우 개입 전후의 두 집단의 데이터가 있다면 설득력이 높은 인과관계의 분석이 가능할 것입니다. 이런 생각으로 데이터를 분..
R과 파이썬을 사용한 통계 계산 시작하기 (1) AI 관련 기술들/Data 분석 2019. 12. 19. AI 및 딥러닝에 대한 구현 자료를 인터넷에서 검색해보면 대부분 파이썬을 사용하고 있죠. 반면 통계 계산에 대한 자료를 검색해보면 요즘에는 파이썬도 많이 늘었지만 R이 차지하는 비중이 높습니다. 딥러닝을 제대로 연구하고 활용하기 위해서는 딥러닝에 대한 이해만이 아니라 데이터 분석과 통계에 대한 이해도 중요하다고 하는데 R과 파이썬으로 나누어져 있으니 약간 귀찮습니다. 그래서 R과 Python을 사용한 통계계산 시리즈를 통해 두 가지 개발환경 모두를 연습해 보고자 합니다. * R 개발환경: RStudio * 파이썬 개발환경: Python 3.7, Anaconda, Jupyter Notebook (IDE 등의 버전은 각자 편한 것으로 사용하시면 됩니다.) 일단 기준이 되는 도서는 "기반지식/통계" 카테고리에..
데이터 분석의 힘: 4장 AI 관련 기술들/Data 분석 2019. 12. 16. 이번 4장에서는 계단식 변화를 가지는 데이터에 사용할 수 있는 또 다른 자연실헙 기법인 집군분석을 다룹니다. 계단식 변화를 가지는 데이터는 각 단계별로 집합군을 만들어 냅니다. 이 집합군 사이에서 형성되는 관계를 이용하여 인과관계를 분석해 내는 방법이 집군분석입니다. 집군분석을 사용할 수 있는 계단식 변화를 가진 데이터 중에서 가장 손쉽게 찾아볼 수 있는 것이 조세관련 데이터죠. 전기, 수도 사용량 또는 소득금액에 따라 단계별로 적용되는 누진세를 생각하시면 쉽게 이해하실 수 있을것입니다. 3장에서 살펴본 RD디자인은 경계선에서 불연속적인 큰 변화가 일어나는 특징을 가지고 있었습니다. 집군분석도 마찬가지로 경계선에서 큰 변화를 보이는 특징을 가지며 RD디자인과는 다르게 계단을 이루는 여러 경계선을 가지고 ..
데이터 분석의 힘: 3장 AI 관련 기술들/Data 분석 2019. 12. 10. 지난 글에 이어서 3장에서는 급격한 변화의 경계선을 찾는 RD디자인에 대하여 이야기합니다. 2장에서는 인과관계를 밝히는데 가장 좋은 데이터 분석법으로 평가되는 RCT에 대하여 알아보았습니다. 그러나 100% 완벽한 분석이 아니라고 말씀드렸었죠. 사실 데이터를 분석하려고 하다 보면 RCT가 적용 불가능한 경우가 많이 있습니다. 이러한 경우 "실험에 가까운 실제 상황을 이용한다"는 발상에서 시작된 자연실험 기법을 많이 사용하고 있는데, 그 중에서 대표적인 기법의 하나가 RD디자인 기법입니다. 여기서 말하는 자연실험이란 실험과 유사한 상황을 가진 실제 현상을 이용하여 인과관계를 분석하는 방법을 말합니다. 2장에서 설명했던 RCT는 데이터 분석자가 능동적으로 실험을 설계하고 개입을 통해 데이터를 수집, 분석하는..
데이터 분석의 힘: 1~2장 AI 관련 기술들/Data 분석 2019. 12. 6. 이번 글에서는 1장부터 2장까지의 내용을 다루겠습니다. 그럼 각 장의 내용을 정리해 보겠습니다. 1장 의 주제는 "데이터의 상관관계는 인과관계가 아니다" 입니다. 데이터 분석의 목적은 대부분 어떤 요인(X)과 결과(Y) 사이의 인과관계를 확인하는 것입니다. 그러나 많은 데이터 분석 사례에서는 인과관계가 아닌 상관관계를 인과관계로 혼동하고 있습니다. 실제로 상관관계는 어떤 요인들이 서로 영향을 미치는 관계에 있음을 말하고 있을 뿐, 하나의 결과를 위한 원인이 되지는 않습니다. 인과관계란 X → Y, 즉 X는 Y의 원인이 된다는 의미인데 상관관계는 X → Y 뿐만아니라 Y → X를 포함할 수 있습니다. 이 경우는 원인과 결과가 뒤바뀌는 큰 오류를 일으키게 되지요. 그리고 X와 Y 이외의 또 다른 요인인 V(..
데이터 분석의 힘: 시작하면서 AI 관련 기술들/Data 분석 2019. 12. 6. 이번에 데이터분석 카테고리에서 다룰 내용은 "데이터 분석의 힘 - 그 많은 숫자들은 어떻게 전략이 되는가 (이토 고이치로 저/전선영 역/ 이학배 감수, 인플루엔셜)"입니다. AI 기술을 이해하고 구현, 활용하기 위해서는 데이터에 대한 이해와 활용이 필수입니다. 어느 정도 이상의 규모를 가진 학습, 검증 데이터와 이에 대한 분석, 활용이 뒷받침 되지 않는다면 딥러닝이건 AI이건 무용지물이 되고 말지요. 사실 AI 기반 시스템을 설계하고 활용하기 위해서는 사용할 데이터를 간단하게 분석하여 연관성이 있어 보이는 데이터들을 중심으로 학습 및 검증 데이터만 적당히 잘 설계하여도 구현한 시스템은 잘 돌아갑니다. 그 성과도 크게 나쁘지 않습니다. 특히 요즘 유행하는 이미지, 영상, 또는 음성을 인식하는 시스템은 필요..


728x90
반응형

티스토리툴바