한국방송통신대학교 빅데이터의 이해 과제

목차

1. 데이터의 다양성과 데이터의 속도 차이를 설명하시오.
2. 빅데이터를 의사결정에 활용하는 수준은 네 단계로 구분할 수 있는데, 각 단계에 해당하는 사례들을 한 분야를 택하여 설명하시오. 실제로 실현된 사례뿐만 아니라 실현 가능한 사례들도 제시하시오.
3. 다음은 김소월 시 <진달래꽃>의 전문이다. 이 시의 각 연이 하나의 문서로 하둡 분산 파일 시스템에 저장되어 있다고 하자. 이 시에 등장하는 단어의 개수를 맵리듀스를 사용하여 세고 싶다고 할 때, 교과서의 P82<그림 3-2>를 이 경우에 맞도록 변행해 그려보시오.
4. 노벨상 수상자 1명을 찾아서 그의 활동기간을 정리하고, 구글 Ngram의 그래프를 이용하여 1800년대 이후 다윈(Charles Darwin), 아인슈타인(Albert Einstein)과 비교하여 정리하시오.

본문내용

1. 데이터의 다양성과 데이터의 속도 차이를 설명하시오.

오늘날 쏟아지고 분석해야 할 데이터 형태가 매우 다양하다. 이제까지 초점의 대상이 되어 왔던 데이터는 대부분 비교적 형태가 잘 잡혀 있고 관리하기도 쉬웠다. 기업에서 다루는 재무 데이터들이 대표적인 예이다. 현재도 각종 원재재구매, 연구개발비 지출내역, 제품생산내역, 유통재고, 판매내역과 같은 데이터들은 세심하게 수집되고, 정해진 서식에 따라 대부분 잘 구조화되어 관리된다. 이처럼 특정 형식에 맞춰 잘 정리된 데이터를 구조적 또는 정형적(structured)데이터라고 부른다. 아주 개략적으로 이야기하자면, 스프레드시트(MS엑셀 등)에서 작업하듯 열과 행을 정리하여 일목요연한 표로 만들 수 있는 데이터를 정형 데이터라고 생각하면 된다. 이런 데이터를 다루기 위해 이미 1970년대부터 이른바 관계형 데이터베이스(RDB : Relational Database)기술이 발전해 왔으며, 오늘날까지도 널리 쓰이고 있다.
빅데이터의 의미 중심에 서 있는 데이터는 바로 비구조적 또는 비정형 데이터(unstructured data)이다. 비정형적 데이터는 기존의 데이터베이스에 담을 수 없는 형태의 데이터이다. 즉, 기업이나 기관의 데이터베이스에 저장되어 있지 않으며 기업이 놓치고 있는 데이터로서 디지털화에 따라 급속히 증가하고 있는 데이터이다. 한 석유시추회사는 시추과정에서 각종 센서로 추당 2만 5,000곳에서 데이터가 발생하지만 실제 활용되는 데이터는 5%도 안 된다고 한다. EMC에 따르면 개인들이 만들어 내는 비정형 데이터가 2005년 이래로 매년 56%씩 증가하여 2010년 지구상 데이터의 90%가 비정형 데이터라고 한다. 그리고 2005년 대비 데이터 규모가 60배 증가한 2020년(전체 데이터 규모, 4만 엑사바이트 혹은 40제타 바이트)에는 이런 비중이 더욱 높아지고, 개인들이 만들어 내는 비정형 데이터가 전체 비정형 데이터의 66%를 차지할 것으로 전망했다.

참고 자료

없음