통계학은 무작위 또는 확률적 실험같이 어떠한 결과를 예측할 수 없는 실험들에 초점을 맞추기 때문에, 수리통계학을 접하기 전 표본공간과 사건에대해 개념을 알고 있어야 한다. 1.0) 무작위 실험 - Statistical(random) experiment 결과가 어떻게 나올지 확실히 예측 할 수 없는 실험. 이러한 통계적 실험에는 변동(variation)이 존재한다. p.s 반대로 결과가 어떻게 나올지 아는 실험은 deterministic이라고 한다. 1.1) 표본공간과 사건 어떤 무작위 실험에서 나올 수 있는 모든 결과들의 집합을 표본공간(Sample space) S 라고한다. 이 표본공간 S에서 실험의 종류에 따라 다음과 같이 이산 표본공간과 연속 표본공간으로 나뉠 수 있다. 1.1.1) 이산 표본공간(..

n개의 관측값들로 구성된 다중회귀모형을 다음과 나타낼 수 있다. $$ y_i = \beta_0 + \beta_1 x_{i1}+\beta_2 x_{i2} + ... + \beta_k x_{ik} + \varepsilon_i,\ i=1,2,...,k+1,...,n $$ 여기서 \(y\)는 종속변수이고, \(x_j=\begin{pmatrix} x_{1j} \\ \vdots \\ x_{nj}\end{pmatrix}\)는 j번째 독립변수 이다. 다중회귀모형을 행렬모형으로 나타낼 수 있는데, $$ y =X\beta + \varepsilon $$ $$ y=\begin{pmatrix} y_1 \\ \vdots \\ y_n \end{pmatrix},X=\begin{pmatrix} 1 & x_{11} & \cdots & ..

Chapter 2 Linear Regression by OLS and MLE | Abracadabra Stats - Companion Book (bookdown.org) 이 사이트의 코드를 참고하여 글을 작성 하였습니다. 이 사이트와는 다르게 R에있는 32개의 관측치와 11개의 numeric variables 로 이루어진 mtcars 데이터를 사용했습니다. 이번 Chapter에서는 Chapter 1. 에서 언급한 오차제곱합을, 함수를 이용한 오차제곱합, Nelder-Mead algorithm을 이용하여 구한 오차제곱합을 비교해보도록 한다. 1. 패키지 불러오기 #install.packages("ggplot") #install.packages("dplyr") #install.packages("plotly"..

이 글은 Stat 512: Applied Regression Analysis (Siddhartha Nandy) (purdue.edu) 사이트의 Lecture 3 의 SAS 코드를 참고 하여 Python으로 작성된 글입니다. 회귀모형을 벡터로 표현하면 다음과 같다. $$ Y = X \beta + \varepsilon, \varepsilon~N_n(0,\sigma^2I_N) $$ 이때 \(Y = (Y_1,...,Y_N)^T, x_ik = (X)_{ik\bullet}\) Chapter 1. 단순회귀분석 에서 언급한 최소제곱법으로 \(\beta\)를 추정할 때 잔차제곱합(residual sum of squares)을 최소화하는 \(\beta\)를 찾는다. 이 내용을 벡터로 표현하면 다음과 같다. $$ RSS(\..

누군가가 통계학과 학부졸업생인 나에게 "단순회귀분석이 뭐야?" 라고 물었을때, "단순회귀분석은 종속변수와 독립변수가 하나씩 있는거야" 라고 답하면 매우 창피한 대답일 것이다. 때문에 통계개념을 더욱 확실히 정리하고 더욱 올바른 답을 하기위해 다시 공부하고 이 글을 통해 정리하게 되었다. 보통 연구를 할 때, 사람들은 관련된 변수들간의 상호 관련성을 찾으려고 한다. 예를들어 '나이를 먹을수록 키가 커지지 않을까?' 또는 '흡연을 할수록 폐암에 걸리지 않을까?' 라고 생각한다. 일반적으로 앞의 예시에서 폐암의 여부와 키 같은 경우를 Y라고 했을 때, Y를 종속변수 또는 반응변수라 부르고, 나이와 흡연량 같은 경우를 X라고 했을때, 종속변수에 영향을 주는 변수로 X를 독립변수 또는 설명변수라고 한다. 다시 정..

해당 알고리즘 문제는 BOJ(BAEKJOON ONLINE JUDGE)의 17528번: Two Machines (acmicpc.net)를 참고 하였으며, 해당 글은 이용 규칙 (acmicpc.net)을 준수하였음을 알려드립니다. Two Machines 문제를 풀기 위해서, 다음과 같이 아이디어를 생각했다. i = 1일때, 리스트 a와 b에 요소 하나 씩 입력받아 최솟값을 구한다. 예를들어, \(a_1\)=[2], \(b_1\)=[3] 일때, A Machine으로 작업을 했다면 t = 2 B Machine으로 작업을 했다면 t = 3 이 되고 둘 중 최솟값인 t=2를 출력하게 된다. i = 2일때, 리스트 a와 b에 요소 두개 씩 입력받아 최솟값을 구한다. 예를들어 \(a_1\)=[2,5], \(b_1\)=..