본문 바로가기
728x90

AI 관련 기술들

데이터 분석의 힘: 5장 AI 관련 기술들/Data 분석 2019. 12. 26. 이번 글에서는 시간의 흐름에 따른 패널 데이터 분석에 대하여 이야기 하겠습니다. 먼저 패널 데이터란 무엇일까요? 패널 데이터란 복수의 집단에 대하여 복수의 기간에 걸쳐 수집한 데이터를 말합니다. 예를 들면 지역별 부동산 데이터를 다년간 관측하는 것 등을 들 수 있습니다. 패널 데이터 분석은 RCT가 불가능할 때 사용할 수 있는 자연실험 기법 중 하나입니다. 기존에 존재하는 데이터의 흐름을 변화시킬 수 있는 어떤 조건이 주어졌을때, 해당 조건의 실행에 영향을 받은 집단과 영향을 받지 않은 집단이 있다면 RCT처럼 실험을 하지 않더라도 개입집단과 비교집단이 저절로 만들어질 수 있는데, 이 경우 개입 전후의 두 집단의 데이터가 있다면 설득력이 높은 인과관계의 분석이 가능할 것입니다. 이런 생각으로 데이터를 분..
R과 파이썬을 사용한 통계 계산 시작하기 (1) AI 관련 기술들/Data 분석 2019. 12. 19. AI 및 딥러닝에 대한 구현 자료를 인터넷에서 검색해보면 대부분 파이썬을 사용하고 있죠. 반면 통계 계산에 대한 자료를 검색해보면 요즘에는 파이썬도 많이 늘었지만 R이 차지하는 비중이 높습니다. 딥러닝을 제대로 연구하고 활용하기 위해서는 딥러닝에 대한 이해만이 아니라 데이터 분석과 통계에 대한 이해도 중요하다고 하는데 R과 파이썬으로 나누어져 있으니 약간 귀찮습니다. 그래서 R과 Python을 사용한 통계계산 시리즈를 통해 두 가지 개발환경 모두를 연습해 보고자 합니다. * R 개발환경: RStudio * 파이썬 개발환경: Python 3.7, Anaconda, Jupyter Notebook (IDE 등의 버전은 각자 편한 것으로 사용하시면 됩니다.) 일단 기준이 되는 도서는 "기반지식/통계" 카테고리에..
데이터 분석의 힘: 4장 AI 관련 기술들/Data 분석 2019. 12. 16. 이번 4장에서는 계단식 변화를 가지는 데이터에 사용할 수 있는 또 다른 자연실헙 기법인 집군분석을 다룹니다. 계단식 변화를 가지는 데이터는 각 단계별로 집합군을 만들어 냅니다. 이 집합군 사이에서 형성되는 관계를 이용하여 인과관계를 분석해 내는 방법이 집군분석입니다. 집군분석을 사용할 수 있는 계단식 변화를 가진 데이터 중에서 가장 손쉽게 찾아볼 수 있는 것이 조세관련 데이터죠. 전기, 수도 사용량 또는 소득금액에 따라 단계별로 적용되는 누진세를 생각하시면 쉽게 이해하실 수 있을것입니다. 3장에서 살펴본 RD디자인은 경계선에서 불연속적인 큰 변화가 일어나는 특징을 가지고 있었습니다. 집군분석도 마찬가지로 경계선에서 큰 변화를 보이는 특징을 가지며 RD디자인과는 다르게 계단을 이루는 여러 경계선을 가지고 ..
데이터 분석의 힘: 3장 AI 관련 기술들/Data 분석 2019. 12. 10. 지난 글에 이어서 3장에서는 급격한 변화의 경계선을 찾는 RD디자인에 대하여 이야기합니다. 2장에서는 인과관계를 밝히는데 가장 좋은 데이터 분석법으로 평가되는 RCT에 대하여 알아보았습니다. 그러나 100% 완벽한 분석이 아니라고 말씀드렸었죠. 사실 데이터를 분석하려고 하다 보면 RCT가 적용 불가능한 경우가 많이 있습니다. 이러한 경우 "실험에 가까운 실제 상황을 이용한다"는 발상에서 시작된 자연실험 기법을 많이 사용하고 있는데, 그 중에서 대표적인 기법의 하나가 RD디자인 기법입니다. 여기서 말하는 자연실험이란 실험과 유사한 상황을 가진 실제 현상을 이용하여 인과관계를 분석하는 방법을 말합니다. 2장에서 설명했던 RCT는 데이터 분석자가 능동적으로 실험을 설계하고 개입을 통해 데이터를 수집, 분석하는..
데이터 분석의 힘: 1~2장 AI 관련 기술들/Data 분석 2019. 12. 6. 이번 글에서는 1장부터 2장까지의 내용을 다루겠습니다. 그럼 각 장의 내용을 정리해 보겠습니다. 1장 의 주제는 "데이터의 상관관계는 인과관계가 아니다" 입니다. 데이터 분석의 목적은 대부분 어떤 요인(X)과 결과(Y) 사이의 인과관계를 확인하는 것입니다. 그러나 많은 데이터 분석 사례에서는 인과관계가 아닌 상관관계를 인과관계로 혼동하고 있습니다. 실제로 상관관계는 어떤 요인들이 서로 영향을 미치는 관계에 있음을 말하고 있을 뿐, 하나의 결과를 위한 원인이 되지는 않습니다. 인과관계란 X → Y, 즉 X는 Y의 원인이 된다는 의미인데 상관관계는 X → Y 뿐만아니라 Y → X를 포함할 수 있습니다. 이 경우는 원인과 결과가 뒤바뀌는 큰 오류를 일으키게 되지요. 그리고 X와 Y 이외의 또 다른 요인인 V(..
데이터 분석의 힘: 시작하면서 AI 관련 기술들/Data 분석 2019. 12. 6. 이번에 데이터분석 카테고리에서 다룰 내용은 "데이터 분석의 힘 - 그 많은 숫자들은 어떻게 전략이 되는가 (이토 고이치로 저/전선영 역/ 이학배 감수, 인플루엔셜)"입니다. AI 기술을 이해하고 구현, 활용하기 위해서는 데이터에 대한 이해와 활용이 필수입니다. 어느 정도 이상의 규모를 가진 학습, 검증 데이터와 이에 대한 분석, 활용이 뒷받침 되지 않는다면 딥러닝이건 AI이건 무용지물이 되고 말지요. 사실 AI 기반 시스템을 설계하고 활용하기 위해서는 사용할 데이터를 간단하게 분석하여 연관성이 있어 보이는 데이터들을 중심으로 학습 및 검증 데이터만 적당히 잘 설계하여도 구현한 시스템은 잘 돌아갑니다. 그 성과도 크게 나쁘지 않습니다. 특히 요즘 유행하는 이미지, 영상, 또는 음성을 인식하는 시스템은 필요..
우리의 눈과 뇌에서 일어나는 시각정보 처리과정 AI 관련 기술들/AI 2019. 11. 29. 이번 글에서는 우리 눈과 뇌에서 일어나는 시각정보 처리에 대하여 살펴보도록 하겠습니다. 우리 몸이 천냥이라면 그 중에서 눈이 900냥이라는 말이 있습니다. 그만큼 눈이 중요하다는 것을 우리 조상들은 오랜 옛날부터 이야기 해 오고 있었는데요. 실제로 우리가 받아들이는 감각 정보의 77%가 시각정보이며, 따라서 시각정보의 처리 기능은 우리의 뇌가 정보를 받아들이기 위한 가장 핵심이 되는 기능이라고 볼 수 있습니다. 시각정보는 우리의 눈에서 시작하여 시신경을 통해 뇌까지 흘러가면서 다양한 처리 과정을 거치게 됩니다. 대표적으로 눈과 망막, 시신경, 뇌의 세 부분으로 구분되어 처리되고 있습니다. 그럼 먼저 눈과 망막의 구조와 눈과 망막에서 처리되는 내용부터 살펴보도록 하겠습니다. 아래의 그림을 보시죠. 빛이 들..
CNN 모델의 기초 AI 관련 기술들/AI 2019. 11. 29. 이번 글에서는 딥러닝 기반 영상인식의 가장 기본이 되는 모델인 CNN에 대해서 살펴보겠습니다. CNN(Convolution Neural Network)은 딥러닝 기반의 영상인식 분야에 있어서 가장 기본이 되는 모델이라고 할 수 있습니다. CNN 모델은 Convolution, 즉 합성곱을 이용하여 이미지 처리에 필요한 가중치의 수를 줄임으로써 연산량의 감소와 효과적인 이미지 처리를 목표로 하는 모델입니다. 신경망으로서의 동작을 수행하기 위하여 Convolution Filter를 사용하고 있으며 Convolution Layer와 Fully Connected Layer를 중심으로 이미지 처리를 수행합니다. 중심이 되는 두 종류의 Layer 중에서 Convolution Layer는 이미지의 특징점을 효과적으로 ..
데이터 과학을 위한 통계 : 탐색적 데이터 분석(1) AI 관련 기술들/Data 분석 2019. 11. 14. 이번 글에서는 탐색적 데이터 분석에 대해서 알아보겠습니다. 데이터 과학의 시작은 무엇일까요? 일단 데이터가 있어야 뭐라도 시작할 수 있겠죠. 당연히 데이터 과학의 시작은 자료의 탐색입니다. 통계학에서는 탐색적 데이터 분석(EDA, Exploratory Data Analysis)라는 분야에서 다루고 있습니다. 기존의 통계학은 적은 표본을 가지고 더 큰 모집단에 대한 결론을 도출하는, 즉 추론을 주된 목적으로 하고 있습니다. 그러나 탐색적 데이터 분석은 통계와 공학, 컴퓨터 과학을 접목시켜 연구를 수행하는 것을 목적으로 하고 있으며, 위와 같은 통계적 추론이라는 것은 단지 하나의 구성요소로 취급하고 있습니다. 데이터는 아주 다양한 형태로 존재하고 있습니다. 이러한 데이터를 분석하고 활용하기 위해서는 정형화 ..
데이터 과학을 위한 통계: 시작하면서 AI 관련 기술들/Data 분석 2019. 11. 14. 새로 개설한 "실습해보기" 카테고리와 연계하여 진행할 첫번째 도서는 한빛미디어에서 출판한 "데이터 과학을 위한 통계 (피터 브루스, 앤드루 브루스 저 / 이준용 옮김"로 결정하였습니다. 처음부터 순수 통계학을 다루기에는 너무 많은 거리감이 있을 것 같아서 가능하면 실습과 함께 진행할 수 있는, 컴퓨터를 이용한 접근을 선택하는 것이 좋을 듯 하네요. "데이터 과학을 위한 통계"는 R로 실습을 진행하고 있습니다만 이번 시리즈에서는 R과 함께 파이썬을 병행할 계획입니다. 동일한 내용을 R과 파이썬으로 동시에 구현해보면 각 환경 사이의 차이점에 대해서도 익힐 수 있을 것으로 생각합니다. 전체적인 진행은 책의 목차를 따르겠지만 세세한 부분까지 다루지는 않습니다. 간략하게 요약, 정리하고 관련된 정보들을 함께 다룰..


728x90
반응형

티스토리툴바