본문 바로가기

AiDAOps/개발 진행

회의 002: 시스템 아키텍처 구성하기

728x90

지난 글에서는 시스템의 기본틀을 생각해 보는 글을 썼죠.

이번 글에서는 시스템의 아키텍처를 구성하기 위한 논의를 다루어보겠습니다.

논의라기보다는 진행하면서 질문을 이어가는 형태가 되겠네요.

그리고 이번 글에서는 Copilot이 아닌 Perflexity(Pro)를 상대로 진행해 보겠습니다.

Perflexity는 Copilot보다 말투가 딱딱하네요.(Copilot이 별종 설정인거죠)

 

Perflexity Pro(유료) 서비스를 3개월간 무료 제공하는 쿠폰이 생겨서 등록했는데..

등록하고 나니 제가 사용하는 다른 서비스에서 1년간 무료 제공하는 쿠폰이 제공되더군요. ㅠㅠ

이미 한 번 등록한 사람은 더 이상 못쓴다고 해서... 3개월로 만족해야 하네요.

 


 

 AiDA 
MLOps 시스템을 구축하려고 해. 
개인용 또는 소규모 기업을 위한 온프레미스 시스템의 구축이 목적이야. 
그래서 클라우드 서비스를 사용하지 않고 로컬시스템에 모든 구성요소를 직접 설치하고 구현해서 만들 계획이니까, 그러한 조건에 맞는 아키텍처를 추천해줘. 
그리고 각 요소에 대하여 상세한 이유를 설명해줘.


★ Perplexity ★
소규모 기업이나 개인을 위한 온프레미스 MLOps 시스템의 아키텍처를 다음과 같이 추천드립니다:

 

  • 추천 MLOps 아키텍처
    1. 데이터 관리
      • MinIO
        • MinIO는 고성능 분산 객체 스토리지 시스템으로, 데이터셋과 모델을 저장하는 데 적합합니다.
        • Amazon S3와 호환되는 API를 제공하여 클라우드 환경으로의 마이그레이션이 용이하며, 확장성이 뛰어나 향후 시스템 확장에 대비할 수 있습니다.
      • PostgreSQL
        • 관계형 데이터베이스로, 메타데이터와 실험 결과를 저장하는 데 사용됩니다.오픈소스이며 안정성과 성능이 검증되었고, 복잡한 쿼리와 트랜잭션을 지원하여 데이터 분석에 유용합니다.
    2. 모델 개발
      • JupyterLab
        • 대화형 개발 환경으로, 데이터 과학자들이 코드를 작성하고 실험할 수 있는 플랫폼을 제공합니다.
        • 다양한 확장 기능을 지원하여 개발 생산성을 높일 수 있습니다.
      • MLflow
        • 머신러닝 라이프사이클 관리 도구로, 실험 추적, 모델 버전 관리, 모델 서빙 등을 지원합니다.
        • 오픈소스이며 다양한 ML 프레임워크와 호환되어 유연성이 높습니다.
    3. 모델 배포
      • Docker
        • 컨테이너화 기술을 사용하여 모델을 패키징하고 배포합니다.
        • 환경 일관성을 보장하여 "내 컴퓨터에서는 작동합니다" 문제를 해결합니다.
      • Docker Compose:
        • 소규모 시스템에서는 Kubernetes 대신 Docker Compose를 사용하여 여러 컨테이너를 관리합니다.
        • 설정이 간단하고 리소스 요구사항이 적어 소규모 환경에 적합합니다.
    4. 모델 모니터링
      • Prometheus
        • 시계열 데이터베이스로, 메트릭을 수집하고 저장합니다.
        • 풍부한 쿼리 언어와 알림 기능을 제공하여 시스템 모니터링에 적합합니다.
      • Grafana
        • 데이터 시각화 도구로, Prometheus와 연동하여 대시보드를 생성하고 알림을 설정할 수 있습니다.
        • 사용자 친화적인 인터페이스로 모니터링 결과를 쉽게 해석할 수 있습니다.
    5. 워크플로우 관리
      • Apache Airflow
        • 워크플로우 오케스트레이션 도구로, 복잡한 데이터 파이프라인을 관리할 수 있습니다.
        • DAG(Directed Acyclic Graph) 기반으로 작업을 정의하고 스케줄링할 수 있어 MLOps 프로세스 자동화에 적합합니다.
    6. 버전 관리
      • GitLab
        • 소스 코드 관리, CI/CD, 이슈 트래킹 등을 제공하는 통합 플랫폼입니다.
        • 온프레미스 설치가 가능하며, MLOps 전반의 협업과 버전 관리를 지원합니다.

 

이 아키텍처는 오픈소스 도구들로 구성되어 비용을 절감하면서도 MLOps의 핵심 기능을 제공합니다. 
로컬 환경에서 완전한 제어가 가능하며, 향후 확장성을 고려한 구조입니다. 
각 구성요소는 MLOps의 주요 기능인 실험 관리, 모델 배포, 모니터링 등을 커버하고 있어 효율적인 머신러닝 개발과 운영 환경을 구축할 수 있습니다.

 

Perplexity의 대답과 함께 제시된 MLOps 아키텍처의 예시 (1)
(출처: https://towardsdatascience.com/machine-learning-operations-mlops-for-beginners-a5686bfe02b2?gi=502b03962f66)

 

Perplexity의 대답과 함께 제시된 MLOps 아키텍처의 예시 (2)
(출처: https://blog.taehun.dev/from-zero-to-hero-mlops-tools-2)

 


 AiDA 
데이터 관리를 위해서 MinIO와 PostgreSQL을 추천했는데 두 가지를 모두 사용하라는 말이야? 
아니면 둘 중에서 하나를 선택하라는 말이야?


★ Perplexity ★
두 가지를 모두 사용하는 것을 추천드립니다. MinIO와 PostgreSQL은 서로 다른 목적으로 사용되며, MLOps 시스템에서 상호 보완적인 역할을 합니다:

  • MinIO
    • 대용량의 비정형 데이터(예: 데이터셋, 모델 파일, 이미지 등)를 저장하는 데 사용됩니다.
    • 객체 스토리지 시스템으로, 확장성이 뛰어나고 대용량 데이터 처리에 적합합니다.
    • S3 호환 API를 제공하여 클라우드 네이티브 애플리케이션과의 통합이 용이합니다.
  • PostgreSQL
    • 구조화된 데이터(예: 메타데이터, 실험 결과, 모델 성능 지표 등)를 저장하는 데 사용됩니다.
    • 관계형 데이터베이스로, 복잡한 쿼리와 트랜잭션을 지원합니다.
    • 데이터 분석과 보고서 생성에 유용합니다.


이 두 시스템을 함께 사용함으로써:

  • 대용량 데이터와 구조화된 데이터를 효율적으로 관리할 수 있습니다.
  • MinIO의 이벤트 알림을 PostgreSQL과 연동하여 데이터 변경 사항을 추적할 수 있습니다.
  • MLOps 워크플로우의 다양한 단계(데이터 준비, 모델 훈련, 결과 분석 등)를 효과적으로 지원할 수 있습니다.

따라서, 온프레미스 MLOps 시스템을 구축할 때 MinIO와 PostgreSQL을 함께 사용하는 것이 데이터 관리의 효율성과 유연성을 높일 수 있습니다.

 

 

Perplexity의 대답과 함께 제시된 MinIO + PostgreSQL 아키텍처
(출처: https://blog.min.io/setting-up-a-development-machine-with-mlflow-and-minio/)

 

 


 AiDA 
MinIO 에 대하여 상세하게 설명해줘.


★ Perplexity ★
MinIO는 고성능 분산 객체 스토리지 시스템으로, 클라우드 네이티브 애플리케이션을 위해 설계된 오픈소스 솔루션입니다.

다음은 MinIO에 대한 상세한 설명입니다.

  • 주요 특징
    • S3 호환성: Amazon S3 API와 완벽하게 호환되어, S3를 사용하는 애플리케이션을 쉽게 마이그레이션할 수 있습니다.
    • 고성능: 초당 수십 GB의 처리량을 제공하며, 대규모 데이터 처리에 적합합니다.
    • 확장성: 단일 노드부터 수천 노드까지 확장 가능한 아키텍처를 제공합니다.
    • 멀티 테넌시: 여러 사용자나 애플리케이션을 위한 격리된 환경을 제공합니다.
    • 데이터 보호: 이레이저 코딩(Erasure Coding)을 통해 데이터 내구성을 보장합니다.
  • 아키텍처
    • MinIO는 분산 시스템으로 설계되어 있으며, 다음과 같은 구성요소로 이루어져 있습니다
      • MinIO 서버: 실제 데이터를 저장하고 관리하는 핵심 컴포넌트입니다.
      • MinIO 클라이언트(mc): 커맨드 라인에서 MinIO 서버를 관리하는 도구입니다.
      • MinIO SDK: 다양한 프로그래밍 언어에서 MinIO를 사용할 수 있게 해주는 라이브러리입니다.
  • 사용 사례
    • 대용량 데이터 저장소: 빅데이터, 머신러닝, AI 워크로드를 위한 데이터 레이크로 활용됩니다.
    • 백업 및 아카이브: 기업의 중요 데이터를 안전하게 보관하는 용도로 사용됩니다.
    • 미디어 스트리밍: 비디오, 오디오 등의 미디어 파일을 저장하고 스트리밍하는 데 활용됩니다.
    • IoT 데이터 저장: 센서 데이터 등 IoT 디바이스에서 생성되는 대량의 데이터를 저장합니다.
  • 설치 및 구성
    • MinIO는 다양한 환경에서 쉽게 설치할 수 있습니다.
      • 단일 노드 설치: 간단한 테스트나 소규모 환경에 적합합니다.
      • 분산 모드 설치: 여러 서버에 걸쳐 MinIO를 구성하여 고가용성과 확장성을 확보합니다.
      • 컨테이너화 배포: Docker나 Kubernetes를 통해 MinIO를 컨테이너로 배포할 수 있습니다.
  • 보안 기능
    • 암호화: 서버 사이드 암호화를 지원하여 저장된 데이터를 보호합니다.
    • 접근 제어: IAM(Identity and Access Management)을 통해 세밀한 접근 제어가 가능합니다.
    • TLS 지원: 데이터 전송 시 암호화를 제공합니다.
  • 관리 및 모니터링
    • 웹 기반 콘솔: 사용자 친화적인 웹 인터페이스를 통해 시스템을 관리할 수 있습니다.
    • 프로메테우스 통합: 시스템 메트릭을 수집하고 모니터링할 수 있습니다.
      알림 시스템: 중요 이벤트에 대한 알림을 설정할 수 있습니다.

 

MinIO는 그 유연성과 성능으로 인해 다양한 규모의 조직에서 객체 스토리지 솔루션으로 널리 사용되고 있습니다. 

특히 클라우드 네이티브 환경에서의 적합성과 오픈소스라는 장점으로 인해 많은 기업들이 채택하고 있습니다.

 

 

Perplexity의 대답과 함께 제시된 MinIO 아키텍처
(출처: https://blog.pages.kr/3047)

 


 AiDA 
두 가지를 함께 사용하려면 어떤 설치 및 설정 과정을 거쳐야 하는지 상세하게 설명해줘.


★ Perplexity ★
MinIO와 PostgreSQL을 함께 사용하기 위한 설치 및 설정 과정을 상세히 설명해드리겠습니다:

  1. PostgreSQL 설치 및 설정
    1. PostgreSQL은 이미 설치되었으므로, 기본 설정만 진행하겠습니다.
    2. PostgreSQL 서비스 시작
      • [bash]
        sudo systemctl start postgresql
        sudo systemctl enable postgresql
    3. PostgreSQL 접속 및 데이터베이스 생성
      • [bash]
        sudo -u postgres psql
        CREATE DATABASE mlops;
        CREATE USER mlops_user WITH PASSWORD 'your_password';
        GRANT ALL PRIVILEGES ON DATABASE mlops TO mlops_user;
        \q
  2. MinIO 설치 및 설정
    1. MinIO 서버 다운로드
    2. MinIO 데이터 디렉토리 생성
      • [bash]
        sudo mkdir /minio
        sudo chown $USER:$USER /minio
    3. MinIO 서비스 파일 생성
      • [bash]
        sudo nano /etc/systemd/system/minio.service
      • 다음 내용을 추가(text)
        [Unit]
        Description=MinIO
        Documentation=https://docs.min.io
        Wants=network-online.target
        After=network-online.target

        [Service]
        User=$USER
        Group=$USER
        Environment="MINIO_ROOT_USER=admin"
        Environment="MINIO_ROOT_PASSWORD=your_minio_password"
        ExecStart=/usr/local/bin/minio server /minio --console-address ":9001"
        Restart=always
        LimitNOFILE=65536

        [Install]
        WantedBy=multi-user.target
    4. MinIO 서비스 시작
      • [bash]
        sudo systemctl daemon-reload
        sudo systemctl start minio
        sudo systemctl enable minio
  3. MinIO와 PostgreSQL 연동
    1. MinIO 클라이언트 설치
    2. MinIO 클라이언트 설정
      • [bash]
        mc alias set myminio http://localhost:9000 admin your_minio_password
    3. PostgreSQL에 MinIO 연결 정보 저장
      • [bash]
        sudo -u postgres psql
        CREATE TABLE minio_config (endpoint TEXT, access_key TEXT, secret_key TEXT);
        INSERT INTO minio_config VALUES ('http://localhost:9000', 'admin', 'your_minio_password');
        \q
  4. 테스트 및 확인
    • MinIO 버킷 생성
      • [bash]
        mc mb myminio/mlops-data
    • PostgreSQL에서 MinIO 정보 확인
      • [bash]
        sudo -u postgres psql -d mlops
        SELECT * FROM minio_config;
        \q
    • 간단한 Python 스크립트로 연동 테스트
      • [python]
        import psycopg2
        from minio import Minio

        # PostgreSQL 연결
        conn = psycopg2.connect("dbname=mlops user=mlops_user password=your_password")
        cur = conn.cursor()

        # MinIO 설정 가져오기
        cur.execute("SELECT * FROM minio_config")
        minio_config = cur.fetchone()

        # MinIO 클라이언트 설정
        minio_client = Minio(
            minio_config[0],
            access_key=minio_config[1],
            secret_key=minio_config[2],
            secure=False
        )

        # 버킷 리스트 출력
        buckets = minio_client.list_buckets()
        for bucket in buckets:
            print(bucket.name)

        cur.close()
        conn.close()

이 과정을 통해 PostgreSQL과 MinIO를 설치하고 기본적인 연동 설정을 완료할 수 있습니다. 
실제 MLOps 시스템에서는 이를 기반으로 데이터 파이프라인, 모델 저장 및 버전 관리, 메타데이터 관리 등의 기능을 구현할 수 있습니다.

 


 

 AiDA 
PostgreSQL은 이미 설치되었다고 한 것은 지금 내 시스템에 설치가 되어 있다는 뜻이야? 
그걸 어떻게 알았어?


★ Perplexity ★
죄송합니다. 
제가 실수로 잘못된 가정을 했습니다. 

PostgreSQL이 이미 설치되어 있다고 단정 지어 말한 것은 잘못이었습니다. 
실제로 귀하의 시스템에 PostgreSQL이 설치되어 있는지 여부는 확실하지 않습니다.

PostgreSQL이 설치되어 있는지 확인하려면 다음 단계를 따라 할 수 있습니다:
터미널을 열고 다음 명령어를 실행해보세요:

  • [bash]
    which psql


만약 결과가 나온다면 (예: /usr/bin/psql), PostgreSQL이 설치되어 있는 것입니다.
결과가 나오지 않는다면, 다음 명령어를 시도해보세요:

  • [bash]
    sudo -u postgres psql -c "SELECT version();"


이 명령어가 PostgreSQL 버전 정보를 표시한다면 설치되어 있는 것이고, 오류가 발생한다면 설치되어 있지 않은 것입니다.
또는 다음 명령어로 PostgreSQL 서비스 상태를 확인할 수 있습니다:

  • [bash]
    sudo systemctl status postgresql


이 명령어가 서비스 상태를 보여준다면 설치되어 있는 것이고, 그렇지 않다면 설치되어 있지 않을 가능성이 높습니다.
제가 이전에 잘못된 가정을 한 점 사과드립니다. 
앞으로는 더 주의깊게 정보를 확인하고 답변하겠습니다.


 AiDA 
그럼 이번에는 JupyterLab과 MLflow를 사용하기 위해서는 어떤 설치 및 설정 과정을 거쳐야 하는지 상세하게 설명해줘.

 


★ Perplexity ★
JupyterLab과 MLflow를 설치하고 설정하는 과정을 상세히 설명해드리겠습니다. 
이 과정은 Python 환경을 기반으로 합니다.

 

  1. Python 가상 환경 설정
    1. 먼저, 프로젝트를 위한 독립된 Python 환경을 만듭니다.
      • [bash]
        # 가상 환경을 위한 디렉토리 생성
        mkdir mlops_project
        cd mlops_project

        # Python 가상 환경 생성
        python3 -m venv mlops_env

        # 가상 환경 활성화
        source mlops_env/bin/activate
  2. JupyterLab 설치 및 설정
    1. JupyterLab을 설치하고 설정합니다.
      • [bash]
        # JupyterLab 설치
        pip install jupyterlab

        # JupyterLab 설정 파일 생성
        jupyter lab --generate-config

        # 비밀번호 설정 (선택사항)
        jupyter lab password
    2. JupyterLab을 시작하려면
      • [bash]
        jupyter lab --ip 0.0.0.0 --port 8888 --no-browser
  3. MLflow 설치 및 설정
    1. MLflow를 설치하고 기본 설정을 합니다.
      • [bash]
        # MLflow 설치
        pip install mlflow

        # MLflow를 위한 디렉토리 생성
        mkdir mlflow_data
    2. MLflow 서버를 시작하려면
      • [bash]
        mlflow server --backend-store-uri sqlite:///mlflow_data/mlflow.db --default-artifact-root ./mlflow_data/artifacts --host 0.0.0.0 --port 5000
  4. JupyterLab과 MLflow 연동
    1. JupyterLab에서 MLflow를 사용할 수 있도록 설정합니다.
    2. JupyterLab에서 새 노트북을 생성합니다.
    3. MLflow를 임포트하고 설정합니다.
      • [python]
        import mlflow

        # MLflow 추적 서버 URI 설정
        mlflow.set_tracking_uri("http://localhost:5000")

        # 실험 생성 또는 기존 실험 사용
        mlflow.set_experiment("my_experiment")

        # MLflow 실행 시작
        with mlflow.start_run():
            # 여기에 ML 모델 훈련 코드 작성
            # 예: 
            # model = train_model()
            # accuracy = evaluate_model(model)

            # 메트릭 기록
            mlflow.log_metric("accuracy", accuracy)

            # 모델 저장
            mlflow.sklearn.log_model(model, "model")
  5. 보안 설정 (선택사항)
    1. 프로덕션 환경에서는 보안 설정이 중요합니다
    2. JupyterLab에 HTTPS 적용
      1. SSL 인증서 생성
        • jupyter_lab_config.py 파일에서 SSL 설정
      2. MLflow 서버에 인증 추가
        • 프록시 서버(예: Nginx) 사용
        • 기본 인증 또는 OAuth 설정
  6. 시작 스크립트 생성
    1. 서비스를 쉽게 시작할 수 있도록 스크립트를 만듭니다.
      • [bash]
        #!/bin/bash
        # start_mlops_services.sh

        # 가상 환경 활성화
        source mlops_env/bin/activate

        # JupyterLab 시작
        jupyter lab --ip 0.0.0.0 --port 8888 --no-browser &

        # MLflow 서버 시작
        mlflow server --backend-store-uri sqlite:///mlflow_data/mlflow.db --default-artifact-root ./mlflow_data/artifacts --host 0.0.0.0 --port 5000 &

        echo "JupyterLab and MLflow servers are running."
    2. 이 스크립트에 실행 권한을 부여합니다.
      • [bash]
        chmod +x start_mlops_services.sh
    3. 이제 ./start_mlops_services.sh 명령으로 서비스를 시작할 수 있습니다.

 

  • 주의사항
    • 이 설정은 로컬 개발 환경을 가정합니다.
    • 프로덕션 환경에서는 추가적인 보안 조치가 필요합니다.
    • 방화벽 설정을 확인하여 필요한 포트(8888, 5000)가 열려있는지 확인하세요.
    • 시스템 재부팅 후에도 서비스가 자동으로 시작되게 하려면, systemd 서비스 파일을 생성해야 합니다.
  • 이 과정을 통해 JupyterLab과 MLflow를 설치하고 기본적인 연동 설정을 완료할 수 있습니다.
  • 실제 사용 시에는 프로젝트의 요구사항에 맞게 추가적인 설정이 필요할 수 있습니다.

 AiDA 
이번에는 모델 배포를 위한 Docker와 Docker Compose의 설치와 설정 방법을 상세하게 설명해줘.


★ Perplexity ★
Docker와 Docker Compose를 설치하고 설정하는 과정을 상세히 설명해드리겠습니다.

이 과정은 Ubuntu 기반 시스템을 가정하고 있습니다.

 

  1. Docker 설치
    1. 시스템 패키지 업데이트 및 필요한 패키지 설치
      • [bash]
        sudo apt update
        sudo apt install -y apt-transport-https ca-certificates curl software-properties-common
    2. - Docker의 공식 GPG 키 추가
    3. Docker 리포지토리 추가
      • [bash]
        echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

        # 패키지 목록 업데이트
        sudo apt update
    4. Docker 설치
      • [bash]
        sudo apt install -y docker-ce docker-ce-cli containerd.io
    5. Docker 서비스 시작 및 부팅 시 자동 시작 설정
      • [bash]
        sudo systemctl start docker
        sudo systemctl enable docker
    6. 현재 사용자를 docker 그룹에 추가 (sudo 없이 Docker 사용 가능)
      • [bash]
        sudo usermod -aG docker $USER
        (변경사항을 적용하려면 로그아웃 후 다시 로그인해야 합니다.)
    7. Docker 설치 확인
      • [bash]
        docker --version
  2. Docker Compose 설치
    1. Docker Compose 플러그인 설치
      • [bash]
        sudo apt install -y docker-compose-plugin
    2. 설치 확인
      • [bash]
        docker compose version
  3. Docker 및 Docker Compose 설정
    1. Docker 데몬 설정 파일 생성 (없는 경우)
      • [bash]
        sudo nano /etc/docker/daemon.json
    2. 기본 설정 추가 (필요에 따라 조정)
      • [json]
        {
            "log-driver": "json-file",
            "log-opts": {
                "max-size": "10m",
                "max-file": "3"
            },
            "default-address-pools": [
                {"base": "172.17.0.0/16", "size": 24}
            ]
        }
    3. Docker 서비스 재시작
      • [bash]
        sudo systemctl restart docker
  4. 간단한 Docker Compose 예제 생성
    1. 프로젝트 디렉토리 생성
      • [bash]
        mkdir my_docker_project
        cd my_docker_project
    2. Docker Compose 파일 생성
      • [bash]
        nano docker-compose.yml
    3. 간단한 웹 애플리케이션 설정 추가
      • [text]
        version: '3'
        services:
            web:
                image: nginx:latest
            ports:
                - "8080:80"
            db:
                image: postgres:latest
                environment:
                    POSTGRES_PASSWORD: example
    4. Docker Compose로 서비스 시작
      • [bash]
        docker compose up -d
    5. 서비스 상태 확인
      • [bash]
        docker compose ps

 

이 과정을 통해 Docker와 Docker Compose를 설치하고 기본적인 설정을 완료할 수 있습니다.

이제 Docker를 사용하여 컨테이너를 생성하고 관리할 수 있으며, Docker Compose를 통해 여러 컨테이너로 구성된 애플리케이션을 쉽게 배포할 수 있습니다.

실제 MLOps 환경에서는 이를 기반으로 모델 서빙, 데이터 파이프라인, 모니터링 등의 컨테이너를 구성하고 관리할 수 있습니다.

필요에 따라 추가적인 설정이나 최적화가 필요할 수 있습니다.

 


 

이처럼 Perplexity와의 대화를 통해서 아키텍처를 개발하기 위한 참고 자료를 많이 얻었습니다.

제시된 명령이나 코드들은 100% 정확한 것이라는 보장이 없기때문에 개발해야할 진짜 아키텍처에 맞게 수정해서 실제로 테스트를 해 봐야 하겠죠.

 

이제 슬슬 하니씩 만들어 가기 시작해야 할 것 같네요.

 

처음 생각보다 규모가 커지는 것 같기도 하지만 또 어떻게 진행해야 할지 막막했던 처음 상황을 생각하면 의외로 간단해 지는 것 같기도 합니다.

이렇게 쉽게 상반된 느낌을 가지는 것을 보면...

역시 사람이란 간사한..

 

 

728x90
반응형