[70점만점] 딥러닝의 통계적 이해 기말 과제물

소개글

"[70점만점] 딥러닝의 통계적 이해 기말 과제물"에 대한 내용입니다.

목차

1. CIFAR-10 데이터에 대해서 다음 물음에 답하시오
(1) 완전연결 신경망을 작성하고, 구조, 학습과정과 시험데이터의 정확도를 정리하시오.
(2) 합성곱 신경망을 작성하고, 구조, 학습과정과 시험데이터의 정확도를 정리하시오.
(3) (1)의 완전연결 신경망과 (2)의 합성곱 신경망의 특성과 정확도를 비교하시오.

2. 합성곱 신경망 모형의 발전 과정의 특성을 정리하시오.

3. GAN 이 무엇인지 정리하고, 활용된 사례를 정리하시오.

4. 딥러닝을 이용한 언어모형의 활용사례를 정리하시오.

본문내용

CIFAR-10데이터셋은 컬러 이미지들로 구성되어 있는 대표적인 이미지 데이터셋이다. CIFAR10 데이터셋은 이름에서 나타나듯, 각각의 샘플은 10개의 클래스 중 하나로 레이블 되어 있다. 클래스는 자동차, 비행기, 고양이, 사슴, 트럭, 개, 개구리, 말, 새, 선박로 이루어져 있다. 데이터셋은 가로 세로 각각 32 픽셀과 RGB 색상으로 표현된 32x32x3 구조인 샘플이 총 60,000 개로 구성되어 있고, 그 중 50,000 개는 모델 훈련(train)을 위한 것이고, 나머지 10,000 개는 테스트(test)를 위해 나뉘어져 있다.
해당 과제에서는 Google Colab 환경에서 오픈소스 머신러닝 라이브러리인 Tensorflow 와 이를 이용하여 더욱 쉽고 간소화된 딥러닝 프로그래밍을 가능하게 해주는 프레임워크인 Keras 를 불러온다. 이후 Keras 에 내장된 CIFAR-10 데이터셋을 학습데이터(train)와 테스트데이터(test)로 나누어 각각 데이터(X)와 레이블(Y)로 불러온다. 각 데이터의 값은 최대 픽셀 값인 255 로 나누어, 값이 0~1 사이가 되도록 스케일링한다. 최종적으로 데이터를 확인한 결과 각 샘플의 모양은 32x32x3 이며, 학습데이터는 50,000 개, 시험 데이터는 10,000 개인 것을 재차 확인하였다.
컬러 이미지를 10 가지 카테고리로 분류하는 완전연결 신경망(Fully connected layer)는 Keras 를 통해 신경망을 순차적(Sequential)으로 작성한다. 여러 구조의 모형을 구축하고 파라미터를 조정한 결과, 최선으로 확정된 모형의 구조는 다음과 같다.
모형은 우선 Flatten 함수를 통해 32x32x3 모양의 데이터를 (1, 3072) 사이즈의 벡터로 평탄화하고, 이후 1000 개의 뉴런 즉, 가중치 파라미터를 가지는 Dense 완전연결 신경망으로 설정된 은닉층으로 전달한 뒤 출력된 결과를 Relu 함수로 활성화 한다.

참고 자료

이긍희, 김용대, 김기온, [딥러닝의 통계적 이해], 한국 방송통신대 출판 문화원, 2020.
“History of the ImageNet Challenge”. Wikipedia, 2020년 11월 3일 접속. https://en.wikipedia.org/wiki/ImageNet#History_of_the_ImageNet_challenge
“ImageNet Large Scale Visual Recognition Challenge”, ImageNet, 2020년 11월 3일 접속. http://www.image-net.org/challenges/LSVRC/
“Stargan v2: Diverse Image Synthesis for Multiple Domains(Github)”, Clova AI, 2020년 10월 9일 접속. https://github.com/clovaai/stargan-v2
“한국어로 대화하는 생성 모델의 학습을 위한 여정”, 박채훈, 서상우, 정다운, 스캐터랩, 2020년 08월 12일 작성, 2020년 10월 26일 접속. https://blog.pingpong.us/generationmodel/#%EC%83%9D%EC%84%B1-%EB%AA%A8%EB%8D%B8%EC%9D%98-%EC%A2%85%EB%A5%98
“스캐터랩 핑퐁 대화 생성 데모”, 2020년 10월 26일 접속. https://pingpong.us/ko/generation/
“Dialogue Generation Models(Github)”, Pingpong, Scatterlab. 2020년 10월 26일 접속. https://github.com/pingpong-ai/dialogue-generation-models
“Toward a Conversational Agent that Can Chat About… Anything”, Google AI, 2020년 1월 28일 작성. 2020년 10월 26일 접속. https://ai.googleblog.com/2020/01/towardsconversational-agent-that-can.html
“Better Language Models and Their Implications”, OpenAI, 2019년 2월 14일 작성. 2020년 10월 26일 접속. https://openai.com/blog/better-language-models/