생각 작업실 The atelier of thinking

48일차확률의 공리(Axiom) 공리(Axiom)의 정의와 필요성 공리란 증명없이 참으로 받아들이는 가장 기본적인 명제이다. 즉, 더 이상 증명할 필요 없이 스스로 진리인 것으로 간주되는 명제를 의미한다. 마치 건물의 기초와 같이, 수학의 모든 정리와 증명은 이러한 공리를 바탕으로 이루어 진다. 공리가 필요한 이유는 수학 체계를 견고하게 만들고 논리적인 추론을 가능하게 하기 위해서이다. 모든 것을 증명하려고 하면 무한한 회귀에 빠지게 되기 때문에, 증명 없이 참으로 받아들여지는 출발점이 필요하다. 공리는 이러한 출발점을 제공하여 수학 체계를 체계화하고, 다양한 정리를 유도하는 데 기반이 된다. 또한, 공리를 통해 수학적인 논증의 정확성과 일관성을 확보할 수 있다. 예를 들어, 유클리드 기하학의 "두 점을..

47일차 오케스트라의 지휘자: 다변량 자료의 관계 분석 도구 연결된 사회에서의 데이터 분석의 중요성 숫자로 이루어진 보물섬, 그것이 바로 현대 사회의 데이터이다. 이 데이터라는 보물섬을 탐험하는 데 필요한 지도가 바로 통계학이다. 그 중에서도 여러 변수를 동시에 다루는 다변량 자료의 분석은 이 보물섬의 가장 귀중한 보물이자, 연결된 사회에서 꼭 필요한 존재라 할 수 잇다. 변수 하나를 분석하는 것도 중요하지만, 현대 사회는 서로 연결되어 있으며, 이러한 연결성은 변수 간의 상호작용을 통해 나타난다. 따라서 다변량 자료의 분석은 변수간의 상호작용을 이해하고, 이를 바탕으로 사회의 변화와 발전을 예측을 가능하게 해준다. 다변량 자료의 기술통계는 마치 오케스트라의 지휘자와 같다. 여러 악기가 함께 어우러져 아..

43일차 분류로 시작하는 통계 분석의 여정 통계 분석의 시작은 언제나 데이터를 분류하는 것에서 출발한다. 복잡하게 얽힌 데이터의 혼란 속에서 질서를 찾아내는 첫걸음은 데이터를 성격에 따라 구분하고, 그 속에 숨겨진 패텉과 관계를 밝혀내는 과정이다. 데이터 분류는 단순히 같은 특성을 가진 항목을 묶는 것 이상의 의미를 가진다. 이는 데이터를 이해하고, 분석 전략을 수립하고, 올바른 결론을 도출하기 위한 필수적인 과정이다. 마치 도서관에서 책을 주제별로 정리해 쉽게 정보를 찾을 수 있도록 돕는 것처럼, 데이터 분류는 분석자가 효율적으로 데이터를 탐색하고 활용할 수 있게 해준다. 범주와 수치를 구분하고, 정형과 비정형 데이터를 나누며, 이 모든 과정에서 데이터의 진정한 가치를 발견한다. 통계학에서 데이터를 다..

Chapter 107. R을 이용한 회귀분석 예측값 구하기 데이터 과학에서의 통계학에서 통계프로그램의 역할은 점점 더 커지고 있습니다. 이제 더이상 계산기 조차 사용하지 않습니다. 특히 시간측면에서의 효율성에서 통계프로그램은 필수적 요소입니다. 통계학 공부를 할 때 이론과 더불어 실습을 함께 한다면 더욱 효과가 좋습니다.  R은 통계학에서 가장 많이 사용하는 프로그램입니다.   이번 회차에는 앞서 살펴봤던 회귀분석 예측값을 R을 이용하여 구해보겠습니다. 1. 자료 불러오기 ◈ 예제 : 올림픽 100m 우승 기록 Andrew Tatem 등이 2004년 9월 Nature지에 발표한 논문에서 발췌한 것입니다. 1896~2004년까지의 남자와 여자의 육상 100m 우승 기록을 분석한 자료 입니다. 그 자료에 2..

38일차 확률 곡선 위의 세상: 평균과 분산으로 그려내 정규분포 정규분포(Normal Distribution) 란 평균, 분산, 확률은 통계학의 기초이며, 이 3가지 개념만 확실히 이해한다면 통계학의 대부분을 이해할 수 있을 것이라 말했다. 이것을 증명할 첫번째 근거가 지금부터 소개할 정규분포다. 정규분포는 평균을 중심으로 좌우 대칭(Symmetric)인 종모양(bell-shaped)의 곡선으로 봉우리가 하나(Single-peaked)라는 특징을 가지고 있다.   정규분포는 평균과 분산, 확률의 개념이 조화를 이루어 정의할 수 있다. 정규분포는 대칭형 종 모양의 분포로, 중심 위치를 결정하는 값이 평균이다. 평균은 데이터의 중심으로 나타내며, 정규분포에서는 곧 데이터가 가장 밀집된 위치를 의미한다. 평균..

37일차 확률은 혼란 속에 빛을 찾아가는 지도 우리가 사는 세상은 불확실성으로 가득 차 있다. 코로나 19는 세상 누구도 예측할 수 없었고, 어느 수험생도 대학 수학 능력 시험의 난이도를 미리 알 수는 없다. 불확실성을 없애는 것은 사실 불가능하다. 차라리 불확실성을 받아들이고 대비하는 것이 훨씬 좋은 방법이다. 불확실성을 관리하려면 먼저 측정을 할 수 있어야 한다. 이런 불확실성을 측정하는데 쓰이는 도구가 확률이다. 확률은 불확실성을 수치화 한다. 수치화를 통해 측정을 할 수 있다. 확률은 데이터 과학의 핵심이다. 데이터를 통해 사건의 확률을 구하고 이를 기반으로 준비하는 것이 불확실성을 극복하는 방법이다.  확률과 통계   확률은 통계와 함께 다닌다. 고등학교에서 배우는 "확통"과목, 즉 "확률과 통..

35일차 평균 너머의 진실 - 분산이 말하는 숨겨진 진실 평균과 분산 : 데이터를 이해하는 열쇠 우리가 살아가는 세상은 수많은 데이터로 이루어져 있다. 학교 시험 점수, 날씨 정보, 스포츠 기록, 심지어 소셜 미디어에서 받은 좋아요 개수까지 모두 데이터이다. 이러한 데이터를 어떻게 이해하고 활용할 수 있을까? 통계학에서는 평균과 분산이라는 두 가지 개념이 데이터를 해독하는 열쇠 역할을 한다. 데이터가 아무리 많다고 해도 적절한 처리를 하지 않은 것은 아무런 의미 없는 숫자들의 나열에 불과하다. 통계학에서 데이터 요약을 위해 실행하는 방법은 중심 위치를 찾는 것이다. 그 중 가장 흔하게 사용하는 것이 평균이다. 하지만 중심값으로 모집단의 특성을 다 나타낼 수는 없다. 데이터는 한 곳에 모여있지 않고 퍼져있..

Chapter 106. 회귀분석 - 예측값과 관측값 1. 예측값과 관측값 회귀분석에서 예측값이란 회귀분석 모델이 분석해서 예측한 값을 말합니다. 관측값은 실제 데이터에서 직접 수집하거나 측정한 값입니다. 그리고 예측값과 관측값의 차이를 잔차라고 한다. 이 잔차가 작을 수록 회귀분석 모델의 성능이 좋다고 말할 수 있다. 회귀분석의 목적은 예측값과 관측값의 차이를 최소화하는 모델을 만드는 것이다. 단순선형 회귀모형은 아래와 같습니다. $$Y_i = \beta_0 + \beta_1x_i + \epsilon_i$$$$ \epsilon_i \sim iid N(0,\sigma^2)$$ 위 모형을 그림으로 나타내면, 아래와 같습니다.   ① 은 최소제곱법을 이용하여 구한 직선입니다.② 는 ① 선상위의 값으로 예측값을..

통계학에서 데이터 과학으로 - 데이터 시대의 새로운 언어 오늘날 인공지능, 빅데이터 그리고 4차 산업혁명이 이끄는 기술적 변화 속에서 "데이터 과학"이라는 단어도 자주 언급되고 있습니다. 하지만 데이터 과학은 상대적으로 덜 알려진 것 같습니다. 저 역시 데이터 과학을 알게 된 계기는 통계학을 공부하면서였습니다.  데이터 과학(Data Science)은 직관적으로 데이터를 다루는 과학이라 추측할 수 있습니다. 하지만 데이터 과학은 통계학, 데이터 분석 그리고 기계학습을 포함한 과학적 방법론과 프로그래밍 기술이 융합된 새로운 패러다임입니다. 그렇다면 데이터를 연구하는 전통적인 학문인 통계학과 데이터 과학은 어떤 관계가 있을까요?  전통적인 통계학 vs 데이터 과학의 통계학 먼저, 위키피디아에서 각각의 정의를..

34일차 평균의 한계 버클리대는 성차별을 했을까? 1970년대에 버클리 대학교는 때아닌 성차별 논란에 빠진 적이 있다. 논란의 발단은 대학원 입학생 중 남학생의 합격률이 여학생의 합격률보다 높게 나오면서 시작되었다. 당시 버클리 대학원 입학 데이터를 보면 남학생들의 합격률은 45%, 여학생들의 합격률은 30% 였다. 이로 인해 성차별 논란이 불거졌다. 이 합격률 차이만 본다면 버클리 대학교에서 남학생을 보다 많이 합격시킨 것으로 보인다. 하지만 학과별로 나누어 세분하여 분석한 결과는 전혀 다른 결론에 도달한다. 아래는 6개 주요 단과 대학의 성별 대학원 입학자료이다. 학과남성여성총지원자합격률총지원자합격률A82562%10882%B56063%2568%C32537%59334%D41733%37535%E19128..