티스토리

Hack your life

검색하기

블로그 홈

Hack your life

greatjoy.tistory.com/m

Taewon Heo 님의 블로그입니다.

구독자: 6

방명록 방문하기

주요 글 목록

[Multiple Comparisons & Adjustment] Adjusted P-value란? ( Bonferroni, Holm, Hommel, BH, BY) 어떤 실험을 하고 결론을 내리기 위해선 가설 검정을 수행한 후 특정 통계량의 유의수준과 비교한다. 대게, p-value는 0.05나 0.01를 사용하곤 한다. 그러나 두 개 이상의 가설을 동시에 시험할 때(다중 비교) 통계적 추론이 잘못될 확률은 상당히 높아진다. False positive가 많이 발생하는데 생물학이나 의학에서는 이러한 거짓 양성(false positive)에 민감하여 p-value 조정(adjustment)이 필요하다. 하지만, 다양한 실험 특성에 적합한 adjustment 방법을 선택하기는 여전히 어렵다.예를 들어 보자, Garcia-Arenzana(2014)은 스페인 여성들에게 유방암의 중요한 위험 요소인 유방조영술 밀도와 25가지 식이 변수의 연관성을 테스트했고 다음과 같은 결과를.. 공감수 3 댓글수 0 2020. 4. 2.
[데이터분석] 매니폴드(manifold)란? [데이터분석] 매니폴드(manifold)란? 매니폴드를 설명할 때 대표적인 예시로 나오는게 스위스 롤이다. 스위스롤의 특징을 보면 3차원의 공간에 롤처럼 말린형태로 데이터가 분포해 있다.이 데이터 공간에 개미가 한마리 살고 있다고 가정해보자. 우리는 롤 안쪽에서 바깥쪽의 거리를 계산할 때, 공간상에서 가로지르는 유클리디안 방식으로 거리를 구하기 때문에 거리가 가깝다. 하지만 개미의 입장에서는 점프를 할 수 없기 때문에 롤을 따라서 바깥으로 도달하기위한 거리는 훨씬 멀다. 그리고 개미의 입장에서는 비선형적인 곡선도 국부적으로는 직선으로 근사되기 때문에 평면으로 느낄 것이다. (매니폴드 상의 임의의 점도 미소 구간에서는 유클리디안 공간) 우리가 사는 세상을 지도로 보면 2차원이지만 실제로는 구 형태의 3차원.. 공감수 12 댓글수 0 2019. 4. 3.
[통계] 차원의 저주와 K-NN(최근접이웃) 알고리즘 [통계, 머신러닝] 차원의 저주 차원의 저주란 차원이 증가함에 따라 탐색해야될 공간이 급격히 늘어나서 알고리즘 계산에 한계가 오는 경우를 말한다. 또는, 차원이 늘어남에 따라 기존의 데이터의 밀도가 급격히 줄어들어 예측력이 떨어지는 경우도 차원의 저주라고 한다.예를 들어 아래의 세 점은 D1 차원에서만 설명할 땐 거리가 가까웠지만 D2라는 차원을 이용하는 순간 거리가 멀어졌다. 실제로는 그림보다 훨씬 거리가 늘어날 수 있고, 차원이 늘어날수록 기하급수적으로 데이터가 희박해진다. 이 경우 예측이 불안정해지고 과적합 위험이 커진다. 차원의 저주를 해결하는 방법은 데이터를 충분히 확보하는 것이지만 차원이 많이 증가하면 필요한 훈련 데이터의 수도 기하급수적으로 늘어나는 한계가 있다. K-최근접이웃회귀와 차원의 .. 공감수 0 댓글수 0 2019. 4. 3.
[가중치 규제] L1 & L2 Regularization Method [가중치 규제] L1 & L2 Regularization Method 데이터가 충분하지 않을 때, 데이터의 노이즈를 학습하여 모델이 과적합되는 경우가 있습니다.아래 그림은 Underfitting부터 Overfitting이 되는 과정을 보여줍니다. 가중치 규제는 모델이 복잡해지지 않도록 모델 복잡도에 벌점(penalty)를 주는 것입니다. 여기서 복잡해진다는 말은 불필요한 항이 많아진다는 뜻입니다.Regularization parameter인 람다는 절편을 제외한 항에 벌점을 주어 모델을 더 general하게 해줍니다. ● Cost function에 규제 항 추가하기 ① 계수(가중치)의 절대값에 비례하는 penalty 추가 : L1 규제 → Lasso Regression L1 규제는 일부 계수 값을 완전히.. 공감수 7 댓글수 0 2019. 1. 30.
[확률분포] 확률변수, 확률질량함수, 확률밀도함수 [확률분포] 확률변수, 확률질량함수, 확률밀도함수 확률변수는 크게 이산형 확률변수와 연속형 확률변수로 나눌 수 있다.이산형은 책의 페이지당 오자의 수, 제품 한 상자에서 나온 불량품의 개수, 주사위를 5번 던질 때 짝수가 나오는 횟수 등과 같이 확률 변수가 취할 수 있는 값이 정수와 같이 유한하거나 셀 수 있는 값을 취하는 경우의 확률 변수이다.연속형 확률변수는 사람의 키, 제품의 무게와 같이 정확한 값보다는 어떤 구간의 값을 취하는 형태에서 사용한다. 100명의 키를 조사해서 분포로 나타낼 때, 175.34는 몇 명 180.18은 몇 명 이렇게 나타내지 않고 170~175cm 몇 명(n/S)와 같이 구간으로 나타낸다. 여기서 표본 공간에서 조건을 만족하는 원소의 개수를 구하면 확률이다. 동전던지기를 4.. 공감수 1 댓글수 0 2018. 8. 15.
[실험계획법] 분산 분석(1) 총변동의 분할 [실험계획법] 분산 분석 변동을 정의하려면 어느 점으로부터의 산포인지 나타내는 자료의 중심과, 자각 자료가 중심으로부터 얼마나 떨어져 있는지를 나타내는 거리의 개념이 필요하다. 따라서 특성값 의 총평균 로부터의 거리인 총편차는 아래와 같이 분해할 수 있다.총 편차 = ( 에 기인하는 편차) + (잔차) 위 식의 양변을 동시에 제곱하여 전체 데이터의 제곱의 합을 구하면 아래와 같다. 여기서 좌변을 총변동 SST(Total Sum of Squares)로 표현한다. 우변의 첫 번째 항은 각 수준효과 간의 차이에 기인하는 편차들의 제곱합이므로 처리제곱합 또는 급간 변동이라고 부르고 SSA로 나타낸다. 우변의 두 번째 항은 각 처리수준 내에서의 잔차들의 제곱합이므로 잔차제곱합 또는 급내변동이라고 부르고 SSE로 .. 공감수 2 댓글수 0 2018. 8. 10.
[실험계획법] 일원배치법 [실험계획법] 일원배치법 일원배치법은 한 인자에서 3개 이상의 처리(온도, 압력, 품종 등)에서 모평균의 차이가 있는지 비교하는 방법이다.일원배치법은 다음과 같은 경우에 흔히 활용된다.특성값에 영향을 미치는 다양한 요인 중에서 특정 요인의 영향을 조사하고자 할 경우특성값에 영향을 미치는 여러 요인에 대한 검증이 어느 정도 진척되고, 이들 요인 중에서 특성값에 큰 영향을 미칠 것으로 예상되는 특정한 한 요인의 영향을 조사하고자 할 경우 일원배치법은 수준 수와 반복 수에 제한이 없으며, 결측치가 있어도 분석이 용이하다는 장점이 있다.요인수준의 선택에는 두 가지 방법이 있다. 하나는 실험자가 스스로 특정한 실험 수준을 선택하는 것이고, 다른 하나는 특정 범위 내에서 임의로 선택되는 경우이다. 실험자가 특정한 .. 공감수 3 댓글수 0 2018. 8. 10.
[통계분석] 유의성 검정(2) - 유의확률 & 모평균 검정 [통계분석] 유의성 검정(2) - 유의확률, Z 검정, T 검정, 카이제곱 검정 가설검정을 수행하려면 유의확률이 무엇인지 알아야 한다. 아마 다들 p-값이라는 걸 한번쯤은 들어봤을 것이다. p-값은 유의확률이라고도 하며 0.05의 유의수준이라고 함은, 쉽게말해 내가 주장하는 가설이 우연한 현상일 확률이 5% 미만이라는 뜻이다. 즉, 귀무가설 H0가 옳을 때 0.05 이하의 확률로 발생하는 사건이라야 H0에 배치되는 증거로 인정하여 대립가설을 채택한다는 의미이다. 유의수준이 낮을 수록(예를 들어 0.01) 우연을 가장한 현상일 확률을 배제함으로서 더 신뢰도 있는 대립가설이 된다. (요즘에는 유의확률 개념 자체가 오류를 일으킬 만한 소지가 다분하다는 이유로 p-값에 의한 가설검정을 안 믿기도 한다.) 1. .. 공감수 3 댓글수 0 2017. 9. 18.
[통계분석] 유의성 검정(1) - 대립가설과 귀무가설, 가설 검정 [통계분석] 유의성 검정(1) - 대립가설과 귀무가설, 가설 검정 우리는 대부분 표본을 가지고 모집단을 추정하곤한다. 모집단의 분포를 추정, 가정하는 것을 가설이라고 하며, 표본을 이용하여 가설의 옳고 그름을 판정하는 것을 가설검정 또는 유의성 검정이라고 한다. 통계적 가설은 귀무가설과 대립가설로 나눌 수 있으며, 수집된 자료를 이용하여 주장하고 싶은 가설을 대립가설(H1)이라고 하고, 이와 반대되는 가설을 귀무가설(H0)라고 한다. 예를 들어 보자.어느 제약회사에서 생산하는 진통제 A는 복용 후 30분부터 진통효과가 나타나는 것으로 알려져 있다. 회사의 연구진은 새로 개발된 진통제 B가 기존의 진통제 A보다 진통효과를 더 빨리 나타낸다고 주장하고 있다. 과연 연구진의 주장이 옳은지 여부를 확인하기 위해.. 공감수 3 댓글수 0 2017. 9. 18.
[6 시그마] 5. 개선단계 - SOP, 실험계획법(DOE), 실험설계, 일원배치법 [6 시그마] 5. 개선단계 - SOP, DOE 개선(Improvement)단계에서는 분석단계에서 추출한 여러 핵심인자에 대한 개선조치를 하여 종속변수를 최적의 상태로 만드는 것이 목표이다. 핵심인자는 그 성격에 따라 다음과 같이 세 가지 형태로 구분할 수 있다.단순한 개선을 필요로 하는 단순개선인자절차를 표준화하여 개선 할 수 있는 인자실험계획법을 통해 최적조건을 도출해야 하는 복잡한 인자. 이 중 첫 번째, 단순개선인자의 예로는, A부품보다 B부품을 쓰는 것이 비용, 품질 등의 면에서 좋다면 B를 선택하는 것이다. 두번째로 절차를 표준화 함으로써 개선을 할 수 있는 경우 표준화(예를 들어 SOP(Standard Operating Procedure)를 통해 개선할 수 있다. 마지막으로 핵심인자가 서로 .. 공감수 1 댓글수 0 2017. 5. 28.
[데이터 분석] 상관분석(Correlation)과 교차 상관분석(Cross Correlation) [데이터 분석] 상관분석(Correlation)과 교차 상관분석(Cross Correlation) 상관분석의 목적은 변수 간의 상관선을 파악하고, 더 나아가서는 회귀분석을 위한 변수 선택 과정이다. 입력 변수 : 출력 변수 = 독립변수 : 종속변수 = 설명 변수 : 반응변수 입력변수가 서로 독립적일 경우 독립 변수라고 할 수 있다. 하지만 일상생활이나 공장의 데이터는 입력 변수 간에도 상관성을 가지고 있다. 이런경우에 PCA(Principal Component Analysis) : 주성분 분석을 활용하기도 한다. 상관 분석 결과는 -1에서 1사이의 값을 갖는다.X와 Y의 상관 분석 결과 값이 1에 가까울 수록 X가 증가 할 때, Y도 증가하는 경향이 강하다는 뜻이고,-1에 가까울수록 반대의 경향성을 나타.. 공감수 1 댓글수 0 2017. 5. 21.
관측자 편향이란? 관측자 편향이란? 공항 이용자 대상으로 설문 조사를 했다고 가정하자. 당신이 항공기를 이용할 때 자리는 얼마나 차있나요? 매우 적음 1점 ~ 만석 5점으로 설문 조사를 했다. 설문 조사 결과는 4점이 나왔다. 하지만 탑승 승객을 항공기 수로 나눈 값(평균 항공기 이용자 수)는 3점 이었다. 왜 그럴까? 자리가 만석이었던 날 탔던 승객 수가 자리가 많이 비어있는 날 탑승했던 승객보다 훨씬 많기 때문이다. 만석을 경험한 승객 수는 100명(좌석수 100개라고 가정), 공석이 많은 비행기를 탔던 승객은 20명이라고 하자.적당히 사람이 탄 경우도 물론있다. 설문 조사는 무작위로 실시 되었을 것이므로, 만석을 경험한 승객이 설문조사에 더 많이 응했을 것이다. 즉, 관측된 결과는 실제 분포와 다를 수 있다. 문득 .. 공감수 0 댓글수 0 2017. 1. 11.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.