생각 작업실 The atelier of thinking

Chapter 107. R을 이용한 회귀분석 예측값 구하기 데이터 과학에서의 통계학에서 통계프로그램의 역할은 점점 더 커지고 있습니다. 이제 더이상 계산기 조차 사용하지 않습니다. 특히 시간측면에서의 효율성에서 통계프로그램은 필수적 요소입니다. 통계학 공부를 할 때 이론과 더불어 실습을 함께 한다면 더욱 효과가 좋습니다.  R은 통계학에서 가장 많이 사용하는 프로그램입니다.   이번 회차에는 앞서 살펴봤던 회귀분석 예측값을 R을 이용하여 구해보겠습니다. 1. 자료 불러오기 ◈ 예제 : 올림픽 100m 우승 기록 Andrew Tatem 등이 2004년 9월 Nature지에 발표한 논문에서 발췌한 것입니다. 1896~2004년까지의 남자와 여자의 육상 100m 우승 기록을 분석한 자료 입니다. 그 자료에 2..

38일차 확률 곡선 위의 세상: 평균과 분산으로 그려내 정규분포 정규분포(Normal Distribution) 란 평균, 분산, 확률은 통계학의 기초이며, 이 3가지 개념만 확실히 이해한다면 통계학의 대부분을 이해할 수 있을 것이라 말했다. 이것을 증명할 첫번째 근거가 지금부터 소개할 정규분포다. 정규분포는 평균을 중심으로 좌우 대칭(Symmetric)인 종모양(bell-shaped)의 곡선으로 봉우리가 하나(Single-peaked)라는 특징을 가지고 있다.   정규분포는 평균과 분산, 확률의 개념이 조화를 이루어 정의할 수 있다. 정규분포는 대칭형 종 모양의 분포로, 중심 위치를 결정하는 값이 평균이다. 평균은 데이터의 중심으로 나타내며, 정규분포에서는 곧 데이터가 가장 밀집된 위치를 의미한다. 평균..

37일차 확률은 혼란 속에 빛을 찾아가는 지도 우리가 사는 세상은 불확실성으로 가득 차 있다. 코로나 19는 세상 누구도 예측할 수 없었고, 어느 수험생도 대학 수학 능력 시험의 난이도를 미리 알 수는 없다. 불확실성을 없애는 것은 사실 불가능하다. 차라리 불확실성을 받아들이고 대비하는 것이 훨씬 좋은 방법이다. 불확실성을 관리하려면 먼저 측정을 할 수 있어야 한다. 이런 불확실성을 측정하는데 쓰이는 도구가 확률이다. 확률은 불확실성을 수치화 한다. 수치화를 통해 측정을 할 수 있다. 확률은 데이터 과학의 핵심이다. 데이터를 통해 사건의 확률을 구하고 이를 기반으로 준비하는 것이 불확실성을 극복하는 방법이다.  확률과 통계   확률은 통계와 함께 다닌다. 고등학교에서 배우는 "확통"과목, 즉 "확률과 통..

36일차 나름대로 열심히 쓰고 있어요. 요즘 내가 하고 있는 일이다. 글쓰기를 잘하고 싶어 나름대로 열심히 쓰고 있기는 한데, 자꾸 벽에 부딪히고 있다. 에세이 한 편 쓰기가 힘들다. 그 동안 공부했던 내용이 쓸거리로 충분할 것이라 생각했는데, 막상 이를 에세이로 쓰려고 하면 어디서 부터 시작해야 할 지 막막하다. 그래서 무엇이 문제일까 원인을 찾아보고자 을 다시 정독하며, 마음에 와 닿는 내용은 베껴 쓰기를 하며 읽고 있다. 본문 중에 "내키는 대로 쓰기만 해서는 독이 되는 글쓰기를 강화할 뿐입니다." 라는 문장은 나의 뼈를 때렸다. 난 혹시 지난 두 달간 독이 되는 글쓰기를 한 것은 아닌가 하는 생각이 들었다. 나는 돈이 되는 글쓰기를 쓰고 싶다. 그렇게 하기 위해서는 어떻게 해야 하는가에 대하여 고..

35일차 평균 너머의 진실 - 분산이 말하는 숨겨진 진실 평균과 분산 : 데이터를 이해하는 열쇠 우리가 살아가는 세상은 수많은 데이터로 이루어져 있다. 학교 시험 점수, 날씨 정보, 스포츠 기록, 심지어 소셜 미디어에서 받은 좋아요 개수까지 모두 데이터이다. 이러한 데이터를 어떻게 이해하고 활용할 수 있을까? 통계학에서는 평균과 분산이라는 두 가지 개념이 데이터를 해독하는 열쇠 역할을 한다. 데이터가 아무리 많다고 해도 적절한 처리를 하지 않은 것은 아무런 의미 없는 숫자들의 나열에 불과하다. 통계학에서 데이터 요약을 위해 실행하는 방법은 중심 위치를 찾는 것이다. 그 중 가장 흔하게 사용하는 것이 평균이다. 하지만 중심값으로 모집단의 특성을 다 나타낼 수는 없다. 데이터는 한 곳에 모여있지 않고 퍼져있..

Chapter 106. 회귀분석 - 예측값과 관측값 1. 예측값과 관측값 회귀분석에서 예측값이란 회귀분석 모델이 분석해서 예측한 값을 말합니다. 관측값은 실제 데이터에서 직접 수집하거나 측정한 값입니다. 그리고 예측값과 관측값의 차이를 잔차라고 한다. 이 잔차가 작을 수록 회귀분석 모델의 성능이 좋다고 말할 수 있다. 회귀분석의 목적은 예측값과 관측값의 차이를 최소화하는 모델을 만드는 것이다. 단순선형 회귀모형은 아래와 같습니다. $$Y_i = \beta_0 + \beta_1x_i + \epsilon_i$$$$ \epsilon_i \sim iid N(0,\sigma^2)$$ 위 모형을 그림으로 나타내면, 아래와 같습니다.   ① 은 최소제곱법을 이용하여 구한 직선입니다.② 는 ① 선상위의 값으로 예측값을..

통계학에서 데이터 과학으로 - 데이터 시대의 새로운 언어 오늘날 인공지능, 빅데이터 그리고 4차 산업혁명이 이끄는 기술적 변화 속에서 "데이터 과학"이라는 단어도 자주 언급되고 있습니다. 하지만 데이터 과학은 상대적으로 덜 알려진 것 같습니다. 저 역시 데이터 과학을 알게 된 계기는 통계학을 공부하면서였습니다.  데이터 과학(Data Science)은 직관적으로 데이터를 다루는 과학이라 추측할 수 있습니다. 하지만 데이터 과학은 통계학, 데이터 분석 그리고 기계학습을 포함한 과학적 방법론과 프로그래밍 기술이 융합된 새로운 패러다임입니다. 그렇다면 데이터를 연구하는 전통적인 학문인 통계학과 데이터 과학은 어떤 관계가 있을까요?  전통적인 통계학 vs 데이터 과학의 통계학 먼저, 위키피디아에서 각각의 정의를..

34일차 평균의 한계 버클리대는 성차별을 했을까? 1970년대에 버클리 대학교는 때아닌 성차별 논란에 빠진 적이 있다. 논란의 발단은 대학원 입학생 중 남학생의 합격률이 여학생의 합격률보다 높게 나오면서 시작되었다. 당시 버클리 대학원 입학 데이터를 보면 남학생들의 합격률은 45%, 여학생들의 합격률은 30% 였다. 이로 인해 성차별 논란이 불거졌다. 이 합격률 차이만 본다면 버클리 대학교에서 남학생을 보다 많이 합격시킨 것으로 보인다. 하지만 학과별로 나누어 세분하여 분석한 결과는 전혀 다른 결론에 도달한다. 아래는 6개 주요 단과 대학의 성별 대학원 입학자료이다. 학과남성여성총지원자합격률총지원자합격률A82562%10882%B56063%2568%C32537%59334%D41733%37535%E19128..

33일차 지금 쓰는 글은 자료 모음입니다. 한 번에 모든 것을 완성하는 것보다 여러 번에 걸쳐 글을 완성해 보고자 합니다.다음 글은 보다 완성도가 있기를 바라면서 오늘은 떠오른 아이디어 위주로 정리해 봅니다. 을 읽고 리뷰하기 이 책은 내가 지금 하루 한 편 에세이 쓰기를 도전하는 아이디어를 제공하였다. 나는 이 책을 반복해서 읽으며 의지를 다지고 있다. 그러던 중 "한 번 읽고 평생 써먹는 책값 하는 글쓰기" 라는 글쓰기 특급기술 부분을 읽고서 시도해 보고 싶은 것이 생겼다. 그것은 "책 리뷰하기" 이다. 글쓰기의 기본은 읽기에서 시작한다고 한다. 그 읽기에서 효과적으로 기억하는 방법이 책 리뷰하기라고 한다. 그리고 아래의 8가지 질문에 답하고 그 답을 기초로 잘 엮어 쓰면 리뷰 에세이가 될 수 있다고..

32일차  를 읽고 떠오른 생각 최근 유시민 작가님의 를 읽고 있다. 절반 가량 읽었다. 읽다가 문득 떠오른 아이디어가 있어 혹시나 잊을까 싶어 바로 적고 있다. 먼저 "문과 남자의 과학 공부" 라는 말이 지난 3년간 내가 하고 있었던 일을 한마디로 정리해주는 것 같아 소름이 돋았다. 그리고 문과생이었던 내가 뒤늦게 시작한 코딩 공부의 진도가 빠르지 않았던 것은 당연한 일이었구나 하는 안도감을 주기도 했다. 내가 코딩 공부를 시작한 것이 2021년 11월 1일이다. 어느덧 만 3년이 지났다. 그 당시 10,000시간의 법칙을 생각하며 코딩 공부를 시작했다. 중간에 포기하지 말자는 각오로 블로그에 기록하는 일도 함께 시작했다. 전혀 모르던 분야에 대한 도전이라 이해도가 떨어졌다. 처음에는 같은 내용의 동영..