빅데이터 분석기술로 데이터의 숨겨진 의미를 추출해낼 수 있을까?

빅데이터 분석기술로 데이터의 숨겨진 의미를 추출해낼 수 있을까?

Pentaho社에서 기업형 솔루션 담당임원인 Wael Elrifai씨는 최근 최고정보관리자들이 데이터셋을 탐험하게 만들어줄 수 있을 것으로 보이는 시각화 툴들에 의해 속지 말아야 할 것이라는 점을 강조한 것으로 나타나, 빅데이터 시대 데이터 분석기법에 대해 상세히 조사해보고자 한다.

지난 12월 9일 런던에서 열린 IT리더 정상회담에 참석한 Elrifai씨는 최고정보관리자들이 시각화 툴들의 가정에 흔들려서는 안된다는 의견을 내놓았는데, 지난 10년 대비 데이터의 양이 대폭 증가하여 이들로부터 가치 있는 인사이트를 뽑아내기가 어려워졌다는 의견을 피력한 것으로 알려졌다.

[출처: http://www.computing.co.uk/ctg/news/2386243/the-it-leaders-100-list]

이는 시각화와 관련된 툴들에 속지 말아야 한다는 의미이며, 물론 시각화 툴은 잘 만들어진 것이지만 시각화의 탐험적인 능력에 대해 언급하고 있는 서비스 공급업체들이 존재하며 이들의 주장에 의하면 데이터셋을 시각적으로 탐험하게 만들어줄 수 있다고 말하고 있지만, 실제 세상에서는 이러한 구현이 쉽게 이루어질 수 없다는 점을 기억해야 한다고 밝혔다.

또한 다수의 시각화 툴의 혼합사용과 관련한 상관관계에 있어 일반적으로 분파된 정보들이 2가지 혹은 때때로 3가지 방향에서 유입될 수 있다는 점을 고려하여 사용자들이 얻어낼 수 있는 정보가 제한적이라는 점을 기억해야 할 것이다.

데이터의 2가지 조각 사이의 상관관계를 끌어낼 수 있고 혹은 3가지 조각 사이의 관계성을 유추해낼 수 있을 것으로 보고 있다. 하지만 5가지 혹은 그 이상의 데이터에 대해서는 불가능하다는 것이 Elrifai씨의 주장인 셈이다.

실제 시스템들이 하나의 실제적 모습을 지니고 있는지에 대한 여부와 더불어 만일 연결된 데이터셋들이 어떠한 상호작용 없이도 서로 이해될 수 있다고 믿는 것이, 실제 시스템을 바라보는 입장에서는 이러한 상관관계가 시각화를 사용해 추론해낼 수 없다고 보는 것이 맞다고 볼 수 있겠다. 이는 말처럼 손쉬운 방안이 아니며, 실제로 이를 분석하는 방식에 대해 고찰할 필요가 있다 하겠다.

뿐만 아니라 시각화를 통한 또 다른 문제점은 이러한 데이터셋들을 분석하는 기법을 통해 발견하고자 노력하는 반 무의식적인 행동들을 통해 패턴들을 발견해낼 수 있을지도 모른다는 것이라 하겠다.

[출처: http://www.computing.co.uk/ctg/news/2431367/how-reckitt-benckiser-takes-a-byod-like-approach-to-visualisation-tools]

인류가 실제로 데이터 패턴들을 발견해내는데 능숙해져있지만, 발견해낼 수 없는 패턴들을 발견하기 위해 노력을 하는 것일 수도 있다는 뜻으로 해석해볼 수 있다 하겠다. 이는 솔루션을 기대하면서 무언가를 지속적으로 갈구하게 될 때, 비로소 찾게 될 수 있다는 말로 보다 의미있는 분석이 시각화를 통해 얻어질 수 있다는 주장에 대해 다소 조심스러운 입장을 취한 것으로 예상해볼 수 있겠다.

원문 출처 : http://www.computing.co.uk/ctg/news/2438727/beware-of-big-data-visualisation-tools-that-claim-to-help-you-derive-hidden-meaning-pentaho

KISTI 미리안 『글로벌동향브리핑』http://mirian.kisti.re.kr/futuremonitor/view.jsp?record_no=260068&cont_cd=GT