본문 바로가기


기타 기술

딥러닝 서버 환경 구축(4): 텐서플로우 2.x를 위해서 그냥 virtualenv로.. 기타 기술/시스템 설정 2020. 9. 15. 지난 글에서 아나콘다-주피터노트북으로 텐서플로우 2.x 버전을 동작시키는 내용을 다루었습니다. 그런데 여전히 삐걱거리고 있습니다. 집에서는 이제 문제없이 잘 동작하고 있는데.. 연구실의 시스템에서는 여전히 잘 동작하지 않네요. OS부터 각 패키지까지 모두 동일한 방식으로 동일한 버전을 설치했는데 서로 동작하는게 다르네요. 어디서 잘못된 것인지 약간 이해가 가지 않는군요. 그래서 계속 사용해왔던 아나콘다를 일단 뒤로 미뤄두고 virtualenv를 이용해 보았습니다. 여기서도 주피터노트북이 문제를 일으킨다면 텐서플로우 2.x 버전과 주피터노트북 사이의 문제일 것이고, 아무런 문제 없이 잘 동작한다면 아나콘다가 가지고 있는 주피터노트북의 패키지와 텐서플로우 2.x, 그리고 아나콘다 사이의 어떤 문제겠지요. v..
딥러닝 서버 환경 구축(3): 텐서플로우 2.x 와 아나콘다-주피터노트북의 문제점 기타 기술/시스템 설정 2020. 9. 13. 지난 글에서 시스템에 아나콘다를 설치하고 텐서플로우를 위한 가상환경을 만들었습니다. 가장 기본적인 예제인 MNIST 예제를 GPU 모드를 이용해서 돌려보았는데 잘 동작하더군요. 그런데 한 가지 문제가 생겼습니다. 좀 느리지만 편하게 작업을 하기 위해서 아나콘다로 구성한 가상환경에서 주피터 노트북을 실행시켰더니 텐서플로우를 인식하지 못하더군요. 일반적으로 이런 경우 아나콘다의 가상환경에서 nb_conda 라는 패키지를 설치해주면 제대로 인식하기 시작합니다. 가상환경의 상태가 주피터 노트북의 환경까지 제대로 전달되지 못하기 때문이라서 해당 패키지를 설치해주면 잘 동작합니다. 그런데 여기서 주의해야 할 점이 있군요. 주피터 노트북에서 파일을 새로 생성할 때, 예전에는 그냥 파이썬3을 선택해서 생성하였고 아무런..
딥러닝 서버 환경 구축(2): 파이썬-아나콘다, 텐서플로우, 파이토치 기타 기술/시스템 설정 2020. 9. 8. 지난 글에서 우분투 20.04 에 CUDA를 설치하였습니다. 이제 우리가 원하는 기능을 구현하기 위하여 실제로 사용할 파이썬 환경을 설치하도록 합시다. 그런데 이전 글에 파이썬의 설치에 대해서 다룬 적이 있으니 여기서는 간단히 명령줄만 소개하고 다음 글로 넘어가겠습니다. 예전 글에서 소개했듯이 파이썬을 이용하여 다양한 프로젝트를 수행하려면 가상환경을 만들어서 수행하는 것이 깔끔하고 좋은데 virtualenv, pyenv 등의 다른 도구도 있지만 저는 아나콘다를 주로 사용합니다. 아나콘다는 QT 기반의 GUI 관리환경인 Navigator란 것을 제공하는데.. 익숙해지면 터미널이 여러모로 편하다고 하지만 솔직히 말해서 눈으로 보기에는 GUI가 제공되는 것이 더 낫죠. 이번 글에서는 GUI를 지원하는 방향으로..
딥러닝 서버 환경 구축(1) : CUDA 기타 기술/시스템 설정 2020. 9. 4. 지난 글에서는 웹서버로 사용하기 위한 우분투 서버 20.04 LTS를 설치하였습니다. 이번에는 딥러닝 서버를 설치해 보겠습니다. 가장 먼저... 사용 중인 웹서버와 동일하게 Ubuntu 20.04 데스크탑 버전을 설치합니다. 딥러닝 서버와 웹서버는 동일한 OS를 설치할 필요는 없지만 그냥 통일했습니다. 두 OS간의 차이가 있어서 발생하는 문제에 대해서는(웹을 통하기때문에 그런 경우는 거의 없겠지만) 걱정하지 않아도 되겠죠. 일단 필요한 것을 생각해봅시다. 당연히 기본적으로 파이썬이 필요합니다. 그리고 matplotlib, pandas, numpy 등 데이터 분석에 많이 사용되는 범용 라이브러리들을 설치해야겠죠. 또 Tensorflow나 PyToach 같은 딥러닝 용 라이브러리도 설치해야합니다. 그리고 G..
Ubuntu Server 20.04 LTS 설치 기타 기술/시스템 설정 2020. 9. 3. 지난 글에서 언급했던 Ubuntu Server 20.04 LTS를 설치하고 설정하면서 정리한 내용을 써 보았습니다. 서버버전은 아직 써 본 적이 없어서 정리해 두는 것이 나중에 찾아보기가 쉬울것 같네요. OS 설치 자체는 인터넷에서 검색하면 이미 많이 찾을 수 있으니 그냥 넘어가도록 하겠습니다. 먼저 우분투 서버버전을 설치한 디스플레이 없는 노트북의 사양을 살펴보죠. 노트북의 모델은 Acer의 AO756 1007Ckk이며 셀러론 1007U 1.5GHz의 듀얼코어 CPU와 4GB의 메모리, 500GB의 HDD를 장착한 모델입니다. 2012년쯤 판매되던 저가형 노트북이니 약 8년이 지났군요. 뭐... 메인 개발시스템으로 사용하고 있는 노트북도 2012년쯤에 구매한 한성컴퓨터 SPARQ X53 lv.77 모델..
시스템 정비 기타 기술/시스템 설정 2020. 8. 29. 프로젝트 마감일정에 치어 정신없이 보내다가 간신히 한 고비를 넘겼습니다. 아직 남아있는 문제점이 있지만 당장은 한 숨 돌리네요. 연구실에서 사용할 딥러닝용 PC -뭐 최신 모델은 아니지만 집에 있는 것보다는 신형입니다- 에 리눅스를 설치했습니다. 올 해 새로 나온 Ubuntu LTS버전인 Ubuntu Desktop 20.04 LTS 버전으로 설치했죠. 작업하는 김에 집에서 사용하던 메인 작업 시스템도 싹 밀고 동일한 Ubuntu Desktop 20.04 LTS 버전으로 바꿨습니다. 그리고 좀 더 구형 모델이었던 노트북은 Ubuntu Server 20.04 LTS 버전으로 재정비 했습니다. 이 녀석은 예전에 디스플레이가 망가져서 아예 떼어내고 모니터만 연결해서 사용하고 있었는데 내부에 포함된 그래픽카드 모..
네이버에서 모든 종목의 재무제표를 받아서 비교하기 기타 기술/주가분석 2019. 11. 29. (이 글은 이번에 병행 운영하던 2개의 블로그를 통합하면서 기존 블로그의 내용을 일부 수정하여 옮겨온 글입니다.) 주식 투자를 하기 위해서 일단은 어떤 종목에 투자할 것인지를 결정하여야 합니다. 종목 결정을 위하여 먼저 재무제표를 기준으로 우량 기업을 선택하고 다음으로 선택한 기업들의 사업보고서를 분석하여 종목을 선택하도록 합시다. ​ 이미 오랜 경험이 있는 투자자들의 경우, 자신들만의 포트폴리오를 구성하고 관심이 있는 분야에서부터 서서히 확장해 나가는 것이 가능하겠지만 처음 시작하는 경우에는 도대체 뭘 선택해야 할 것인지 알 길이 없습니다. 그래서 모든 종목의 재무제표 데이터를 몽땅 읽어들여 우량 기업을 선택하는 기준에 따라 걸러서 대상을 축소해 보기로 하였습니다. ​ 이번 포스트에서는 모든 종목의 재..
네이버에서 현금흐름표 데이터 받아오기 기타 기술/주가분석 2019. 11. 29. (이 글은 이번에 병행 운영하던 2개의 블로그를 통합하면서 기존 블로그의 내용을 일부 수정하여 옮겨온 글입니다.) 기업분석을 위해서 재무제표와 함께 중요한 자료가 바로 현금흐름표입니다. 현금흐름표는 손익계산서, 재무상태표와 함께 재무분석을 위해 중요한 자료로서 일정 기간동안 기업의 현금이 어떻게 조달되고 사용되는지를 보여줍니다. 기간별 현금의 유입과 유출 내용과 같은 현금흐름의 분석을 통하여 향후 발생할 기업의 현금부족, 흑자도산 등의 위험여부도 미리 추정할 수 있습니다. ​ 현금흐름표의 데이터를 받아오기 위하여 며칠간 검색을 해 보았지만 회계학적 입장에서의 현금흐름표의 작성, 분석 방법에 대한 내용만 검색되고 파이썬이나 프로그래밍을 통하여 데이터를 확보하는 방법은 좀처럼 검색되지 않더군요. 그래서 직접..
네이버에서 재무제표 데이터 받아오기 기타 기술/주가분석 2019. 11. 29. (이 글은 이번에 병행 운영하던 2개의 블로그를 통합하면서 기존 블로그의 내용을 일부 수정하여 옮겨온 글입니다.) 기업의 상태를 분석하기 위해서 가장 중요하면서 또한 기본이 되는 데이터가 바로 재무제표입니다. 재무제표를 분석하기 위하여 일단 그 데이터를 받아와야 하는데 주가데이터와 마찬가지로 네이버 금융 서비스에서 데이터를 받아오도록 합시다. ​ 소스코드는 아래의 두 포스트를 참고 및 비교하였습니다. 1. '나는 새롭다' 님의 블로그의 '[Python 재무제표 크롤링 #7] NAVER 금융에서 재무제표 데이터, 파이썬 데이터 프레임으로 추출하기' (https://engkimbs.tistory.com/625) 2. '데이터 큐레이터'님의 블로그의 '[파이썬 업무 자동화] 상장사 재무제표 수집(pandas)..
네이버에서 주가 데이터 받아오기 기타 기술/주가분석 2019. 11. 29. (이 글은 이번에 병행 운영하던 2개의 블로그를 통합하면서 기존 블로그의 내용을 일부 수정하여 옮겨온 글입니다.) 일반적으로 주식투자 관련 데이터를 사용하려면 각 증권사 계좌를 만들고 해당 증권사에서 제공하는 API를 사용하여 데이터 수집을 진행합니다. 그러나 그것때문에 일부러 증권계좌를 만드는게 좀 꺼려지는 경우도 많을것입니다. 그런 경우에는 네이버 또는 다음과 같은 포탈서비스에서 제공하는 금융, 증권서비스를 이용하는 것도 좋습니다. 그러나 포탈서비스 업체에서는 증권사에서 제공하는 API와 같은 특화된 서비스를 제공하지는 않습니다. 그렇다면 우리가 생각해 볼 수 있는 것은 웹 스크레이핑과같은 기술이 되겠군요. 이번 글에서는 파이썬을 이용하여 웹 스크레이핑 기술을 활용한 주가 데이터 받아오기를 해 보겠습..


728x90
반응형

티스토리툴바