통계학에서 데이터 과학으로 - 데이터 시대의 새로운 언어

통계학에서 데이터 과학으로 - 데이터 시대의 새로운 언어

 

오늘날 인공지능, 빅데이터 그리고 4차 산업혁명이 이끄는 기술적 변화 속에서 "데이터 과학"이라는 단어도 자주 언급되고 있습니다. 하지만 데이터 과학은 상대적으로 덜 알려진 것 같습니다. 저 역시 데이터 과학을 알게 된 계기는 통계학을 공부하면서였습니다.

 

 

데이터 과학(Data Science)은 직관적으로 데이터를 다루는 과학이라 추측할 수 있습니다. 하지만 데이터 과학은 통계학, 데이터 분석 그리고 기계학습을 포함한 과학적 방법론과 프로그래밍 기술이 융합된 새로운 패러다임입니다. 그렇다면 데이터를 연구하는 전통적인 학문인 통계학과 데이터 과학은 어떤 관계가 있을까요?

 

 

전통적인 통계학 vs 데이터 과학의 통계학

 

먼저, 위키피디아에서 각각의 정의를 찾아봤습니다.

 

"통계학(statistics)은 산술적 방법을 기초로 하여, 주로 다량의 데이터를 관찰하고 정리 및 분석하는 방법을 연구하는 분야이다."

 

"데이터 과학(data science)이란, 데이터 마이닝(Data Mining)과 유사하게 정형, 비정형 형태를 포함한 다양한 데이터로부터 지식과 인사이트를 추출하는 과정에서 과학적 방법론, 프로세스, 알고리즘, 시스템을 동원하는 융합 분야다.
데이터 과학은 데이터를 통해 실제 현상을 이해하고 분석하며 통계학, 데이터 분석, 기계학습과 연관된 방법론을 통합하는 개념으로 정의되기도 한다.”

 

데이터 과학은 통계학과 다른 과학적 방법론(기계학습, 프로그래밍)의 융합한 개념으로 보입니다. 통계학은 데이터 과학의 한 축을 담당하고 있는 것으로 보입니다. 전통적으로 생각하는 통계학과 데이터 과학의 통계학은 어떠한 차이가 있는지 확인해 봤습니다. 

 

 1. 학습 내용의 차이 

 

전통적 통계학은 자료 소개, 요약 통계량, 확률 이론, 검정 방법 등 이론과 기법 학습에 집중했습니다. 반면, 데이터 과학 내 통계학은 데이터 시각화, 탐색적 자료 분석, 확률 기반 불확실성 분석, 모형과 알고리즘 설계 등 실질적 활용에 중점을 둡니다. 이는 통계학의 범위가 이론에서 실제 응용으로 확장된 결과입니다.

 

2. 동기와 목적의 차이

 

전통적 통계학은 이론과 기법 이해를 통해 모집단 특성을 파악하고 통계적 추론을 수행하는 데 초점을 맞췄습니다. 데이터 과학에서의 통계학은 데이터를 적용하여 문제를 해결하고, 인사이트를 얻으며, 예측과 판단에 활용하는 실용적 목적을 지향합니다.

 

3. 도출 방법의 차이

 

전통적 통계학은 가설검정, 추정, 회귀분석 등 기법을 통해 표본에서 모집단 특성을 추론합니다. 데이터 과학은 데이터 수집, 전처리, 시각화, 모델링, 예측 등 전 과정에서 통계학을 활용하며, 불확실성을 근거로 한 추론과 예측을 포함한 더 폭넓은 접근을 취합니다.

 

통계학은 데이터 과학의 한 축

 

 

통계학은 여전히 데이터 과학의 핵심 축으로 자리 잡고 있습니다. 데이터 과학이 탄생하기 위해서는 통계학의 이론적 배경이 필요하며, 이러한 이론 위에 프로그래밍, 알고리즘, 그리고 다양한 응용 기술들이 결합되면서 데이터 과학이라는 이름으로 발전해왔습니다.

 

새로운 여정

 

기존의 통계학 이야기에서 100 여편의 글을 썼습니다. 이제 이야기를 확장해 데이터 과학이라는 새로운 여정을 시작하려 합니다. 새로운 여정을 시작하며, 기존의 통계학 이야기에서의 이론적 접근에서 벗어나 실제 데이터 분석과 예측을 위한 실용적 사례들을 다뤄보려 합니다. 데이터 과학은 이제 단순히 이론에 그치지 않고, 현실 세계의 문제를 해결하는 데 중요한 도구가 되었습니다. 이를 위해 통계학의 기초적인 개념은 물론, 컴퓨터 과학의 프로그래밍 기법과 기계 학습 알고리즘을 결합한 다양한 실제 응용 사례들을 위주로 소개하려고 합니다.

 

---

한 번에 잘써지는 글은 없다고 합니다. 이전에 썼던 글을 수정해 서문으로 작성해 봤습니다.  보다 나은 글쓰기를 위하여...

 

2024.09.26 - [생각노트] - 통계학? 아니 데이터 과학!

통계학? 아니 데이터 과학!