생활속의 빅데이터 ) 1) 하둡의 역사와 빅데이터의 장점을 설명하라 2) 기업경영에의 빅데이터 분석의 활용을 설명하고 그 예를 들라

목차

1. 하둡의 역사와 빅데이터의 장점을 설명하라
2. 기업경영에의 빅데이터 분석의 활용을 설명하고 그 예를 들라
3. 빅데이터의 수집방법을 설명하고 실제 적용 예를 설명하라
4. 빅데이터의 시각화 방법을 설명하고 예를 들어 설명하라
5. 대표적인 빅데이터 분석 방법을 나열하고 설명하라

본문내용

하둡은 빅데이터에 있어서 핵심이 되는 기술이라고 할 수 있다. 빅데이터란 기존의 데이터보다 방대하다는 의미에서 big을 붙여서 그 어원이 만들어졌다. 그에 따라서 기존의 방법이나 도구로 수집 및 저장, 분석 등이 어려운 정형 및 비정형 데이터들을 의미한다. 하둡은 이러한 빅데이터와 상당한 관련이 있는 것이다.
하둡은 아파치 루씬의 창시자로 알려져있든 더그 커팅으로부터 시작되었다. 더그 커팅의 소속은 아파치였다. 아파치는 사용자들이 홈페이지에 접속하는, 일명 ‘웹서버’의 프로그램이라고 할 수 있다. 더그 커팅은 프로젝트 아파치 루씬을 진행하였는데, 여기에서 루씬이란 검색을 뜻하는 말이다. 그러므로 프로젝트 아파치 루씬은 “어떻게 하여야 검색을 잘 하는가”와 관련된 검색의 방법론이라고 할 수 있겠다.
2002년에는 오픈소스 검색엔진인 아파치 너치를 만들었다. 너치에는 크롤러라는 것이 도입되었다. 크롤러란, 흩어져있는 홈페이지를 방문하는 것으로써 웹 서버의 정보들에 접근하고 그것을 수집하는 것을 말한다. 이렇게 하는 것을 통하여서, 구글로부터는 크롤러를 사용하여 정보를 모으고 사용한다. 또한 우리가 알고 있는 검색 기록 역시 이것과 관련이 있는 것이라고 할 수 있다.
이러한 실행이 가능한 크롤러와 함께 검색엔진과 관련한 시스템이 빠르게 출현하면서부터 하둡은 빅데이터의 중심이자 핵심이라고 할 수 있게 되었다.
그렇다면 빅데이터는 어떠한 장점을 가지고 있기에 4차 산업혁명이 핵심이 되었는가? 이를 위해서는 빅데이터의 특징에 대해서 먼저 알아볼 필요가 있다. 빅데이터란 크기와, 속도, 다양성을 그 특징으로 들 수 있다. 크기는 상당한 규모이며, 그것은 수십 테라 바이트 혹은 수십 페타 바이트의 규모를 자랑하는 것이다.
속도는 대용량의 데이터를 빠르게 처리하고 분석할 수 있는 속성이다. 매우 빠른 속도로 생산되는 데이터를 실시간으로 저장하고 유통하는 것뿐만 아니라 수집과 분석처리까지 가능한 것을 말한다.

참고 자료

｢빅데이터｣, 『국립중앙과학관-빅데이터』.
｢빅데이터와 경영｣, 『국립중앙과학관』.
｢대표적인 빅데이터 분석 기술들｣, 『빅데이터 플랫폼 전략』.