통계적 유의성 오판 예시: 심층 분석 및 예방 가이드

통계적 유의성은 A/B 테스트와 같은 실험에서 두 그룹 간의 차이가 우연의 영향이 아닌 실제적인 차이인지 확인하는 데 중요한 역할을 합니다. 하지만 통계적 방법은 완벽하지 않으며, 특정 상황에서 통계적 유의성이 없는 경우에도 실제로는 유의미한 차이가 존재할 수 있습니다. 이러한 오류를 통계적 유의성 오판이라고 하며, 잘못된 의사결정으로 이어질 수 있기 때문에 주의해야 합니다.

1. 통계적 유의성 오판의 유형:

통계적 유의성 오판은 크게 두 가지 유형으로 나눌 수 있습니다.

• 1종 오류 (Type I error): 실제로 차이가 없는 경우에 유의하다고 판단하는 오류입니다.
• 2종 오류 (Type II error): 실제로 차이가 있는 경우에 유의하지 않다고 판단하는 오류입니다.

2. 통계적 유의성 오판의 원인:

통계적 유의성 오판은 다음과 같은 여러 가지 요인으로 인해 발생할 수 있습니다.

• 샘플 크기 부족: 충분한 샘플 크기가 확보되지 않은 경우, 실제로 존재하는 차이를 감지하지 못하거나 우연의 영향으로 인해 유의하다고 판단할 수 있습니다.
• 통계적 검정력 부족: 통계적 검정력이 부족하면 2종 오류 발생 가능성이 높아집니다. 통계적 검정력은 검정력 분석을 통해 계산할 수 있습니다.
• 비정상 분포: 데이터가 정상 분포를 따르지 않는 경우, 통계적 검정의 정확도가 떨어질 수 있습니다.
• 오탐지: 측정 오류나 데이터 입력 오류는 실제로 존재하지 않는 차이를 나타낼 수 있습니다.
• 다중 비교: 여러 번의 통계적 검정을 수행하면 1종 오류 발생 가능성이 높아집니다.

3. 통계적 유의성 오판 예시:

예시 1:

한 의약품 회사에서 두 가지 새로운 약의 효과를 비교하는 임상 시험을 진행했다고 가정합니다.

• 그룹 A: 새로운 약 A를 투여받은 환자 100명
• 그룹 B: 기존 약을 투여받은 환자 100명

두 그룹 간의 치료 효과 차이를 비교한 결과, 통계적으로 유의미한 차이가 없다는 결론을 도출했습니다. 하지만 실제로는 새로운 약 A가 기존 약보다 더 효과적이었지만, 샘플 크기가 부족하여 통계적 검정력이 저하되어 유의성을 감지하지 못한 경우입니다. 이는 2종 오류의 예시입니다.

예시 2:

한 온라인 쇼핑몰에서 두 가지 웹사이트 디자인을 비교하는 A/B 테스트를 진행했다고 가정합니다.

• 디자인 A: 기존 디자인
• 디자인 B: 새로운 디자인

두 디자인의 전환율을 비교한 결과, 통계적으로 유의미한 차이가 없다는 결론을 도출했습니다. 하지만 실제로는 새로운 디자인 B가 기존 디자인 A보다 더 높은 전환율을 보였지만, 데이터 입력 오류로 인해 실제 전환율이 왜곡되어 유의성을 감지하지 못한 경우입니다. 이는 1종 오류의 예시입니다.

4. 통계적 유의성 오판 방지 방법:

통계적 유의성 오판을 방지하기 위해서는 다음과 같은 방법을 고려해야 합니다.

• 충분한 샘플 크기 확보: 통계적 검정력 분석을 통해 적절한 샘플 크기를 계산하고 확보해야 합니다.
• 통계적 검정력 검증: 통계적 검정력이 충분한지 확인해야 합니다.
• 정상 분포 검증: 데이터가 정상 분포를 따르는지 검증하고, 정상 분포를 따르지 않는 경우 비모수 통계를 사용해야 합니다.* **다중 비교 보정:** 다중 비교 문제에 대비하여 보정 방법을 고려해야 합니다.

  통계적 유의성 오판을 방지하고 신뢰할 수 있는 테스트 결과를 얻기 위해서는 올바른 통계적 분석 및 검정이 필요합니다. 또한 테스트를 계획할 때 충분한 샘플 크기를 고려하고 데이터 수집 및 분석 과정에서 오류를 최소화하는 것이 중요합니다.

준비물.

호스팅. – bluehost 같은 저가 호스팅에서 부터 구글 클라우드나
아마존 웹서비스 같은 사용한 만큼 비용을 지불하는 클루우드 컴퓨팅도 좋습니다.

관련: 구글 클라우드 강좌,
아마존 웹서비스 강좌

도메인 – 고데디 또는 구글 도메인 등을 통해 도메인 등록을 하면 됩니다.

워드프레스를 설치하는 것을 모르시고 호스팅도 모르시면 다음의 재생목록을 참고해주세요.

구글 클라우드 강좌

17년간 사용한 게시판 프로그램의 모든 내용을 새로운 게시판 프로그램으로 이전 하기로 했습니다. 새로운 플랫폼은 워드프레스의 플러그인인 Kboard를 사용하기로 결정했습니다. 워드프레스의 범용성과 확장성과 관리의 편의성을 이용할 수 있기 때문입니다. 기존 게시판 프로그램이 특정회사의 서버에서만 운영되게 해 놓은 프로그램이라 한계가 있기 때문입니다.

옮길것은 기존 17년간의 모든 게시판의 내용들을 그대로 옮기는 것입니다. 그대로 다 옮긴다는 것이 많은 용량의 데이타베이스라서 조금 더 신경을 쓰는 작업이어야 했습니다.

다음과 같은 작업이 필요합니다.

1.기존 게시판에서 추출한 데이타를 새로운 게시판의 데이타 구조에 맞도록 변경하는 작업을 해야 합니다.

2.새로운 게시판에 기존 게시판의 데이타를 업로드 합니다.

그리고 이 작업을 위해서 필요한 지식은 다음과 같습니다.

MySQL db를 다운로드, 업로드 할 수 있어야 한다.

데이타베이스를 분석하고 수정 할 수 있어야 한다.

그럼 실재 작업을 진행하도록 하겠습니다.

1. 기존 게시판에서 추출한 데이타를 새로운 게시판의 데이타 구조에 맞도록 변경하는 작업

1-1 먼저 새로운 게시판의 데이타 구조를 알아야 합니다. Kboard를 사용하기로 했는데 이 게시판의 테이블이 다음과 같은걸 찾았습니다.

kboard_board_content : 게시글 정보 ,그외 kboard_board_option : 게시글의 옵션 데이터 저장 ,kboard_comments : 댓글 정보,kboard_board_attached : 첨부파일 정보, kboard_board_setting : 게시판 기본 정보 (uid 컬럼은 게시판 ID입니다.),kboard_board_meta : 게시판의 추가 설정 정보 등이 있는데

가장 중요한것은 그리고 게시판 데이타를 업로드 할 kboard_board_content 테이블이고 먼저 이곳의 주요 컬럼을 확인해 봅니다. 이 부분이 사용자의 눈에 보이는 것이고, 이것을 확실히 기존 게시판에서 찾아 매칭 시켜 주면 되는것입니다.

board_id : 게시판 ID
member_display : 작성자 이름
title : 제목
content : 내용
date : 작성일
update : 수정일

1-2 기존 게시판의 컬럼들을 이전할 게시판의 컬럼 기준으로 맞추기

기존 게시판의 컬럼들을 이전할 게시판의 컬럼 기준으로 이름을 바꿀 것은 바꿉니다. 예를 들어 제목인 kboard의 title 컬럼은 기존 게시판 에서는 subjet고, content는 기존 게시판에서는 contents 입니다. 이렇게 핵심적인 컬럼을 이전할 게시판에 맞춰 바꿔줍니다.

바꾼 예
*`writer`(기존 게시판의 테이블 컬럼) 는 `member_display`로 변경
*`subject`(기존 게시판의 테이블 컬럼) 는  `title`로 변경
*`count`(기존 게시판의 테이블 컬럼) 는 `view`로 변경
*`contents`(기존 게시판의 테이블 컬럼)는 `content`로 변경

컬럼의 값들도 일괄 변경해 줄건 해줍니다. 예를 들어 Kboard의 게시판 id에 해당하는 board_id 컬럼은 1,2 등 숫자로 되어 있는데, 기존 게시판의 컬럼은 notice 등 영문으로 지정되어 있습니다. 이 부분은 이전할 게시판에 맞춰 일괄 변경해주면 됩니다.

1-3 기존 게시판에만 있는 컬럼들을 kboard_board_content 테이블에 추가하기

날짜, 제목, 내용 등 일반적인 것 외에 기존 게시판에만 있는 몇가지 컬럼들이 있었습니다.

그 부분을 데이타베이스에서 모두 삭제해서 컬럼을 케이보드에 맞추는 것도 방법이겠지만, 저는 기존 데이타베이스도 모두 사용하기 위해,
kboard_board_content 테이블에 컬럼을 추가했습니다. 컬럼이 증가 하더라도 보이지는 않는것이고, 또 추 후 기존의 것들 중 향후 꺼내 사용할 여지를 주기 위해서 였습니다.

예를 들어 board_no1, board_no2 라는 컬럼을 추가하고 싶으면 SQL 문으로 다음과 같이 하면 됩니다.

alter table `kboard_board_content` add(
  `board_no1` text,   
  `board_no2` text
);

그 외 소소한 변경 들 : 17년간 된 게시판이다 보니 에디터가 web1.0 시대의 것이고 그래서 발생하는 \r\n 등의 것들도 찾아 일괄 변경해 주면 됩니다.

이제 데이타는 완벽하게 구성되었습니다.

2.새로운 게시판에 기존 게시판의 데이타를 업로드 합니다.

이제 이 데이타를 새로운 kboard로 업로드 해야 합니다.

문제는 17년간 사용한 게시판의 DB 용량이 상당히 크다는 것입니다. 이런경우는 업로드 뿐 아니라, 데이타베이스를 다운로드 하는데도 phpmyadmin 의 export방법으로는 안되고, db dump를 받아야 합니다. (참고: 대용량 DB를 MySQL 로 가져오는 방법)

phpmyadmin 에서 업로드가 안되는 용량이 큰 데이타베이스를 mysql 로 import 할때는 ssh에서 다음과 같이 명령을 주시면 됩니다.

mysql -u 데이타베이스유저아이디 -p 데이타베이스이름 < SQL 파일  

용량이 크다 보니 오류가 날 경우가 있으므로 강제로 진행하는 -f 옵션을 사용하셔도 됩니다. (물론 컬럼을 맞추고 SQL 문법에 맞추는 등 기본적인 것은 해 줘야줘. -f은 소소한 오류만을 위해 사용하시는것이 온전한 이전을 할 수 있게 해 줍니다.)

mysql -f -u 데이타베이스유저아이디 -p 데이타베이스이름 < SQL 파일  

그리고 엔코딩의 문제가 있을 경우도 확인해 보셔야 합니다. 즉, 글이 깨질 경우 utf8 로 엔코딩 하시고, 또는 데이타베이스 자체의 언어셋업이 문제 일 경우는 BOM 없는 uft8로 한다든지 시도해 보셔서 적절하게 작업하시면 됩니다.

참고로 엔코딩 변경 관련 무료 에디터는 notepad ++ 가 있습니다.

결과

17년간 쓰여진 많은 추억과 활동들이 있는 소중한 게시물들이 새로운 환경에 적용된 좋은 게시판 프로그램으로 온전히 마이그레이션 되었습니다.

.site-info { display: none; }

mysql -u username -p databasename < yoursqlfile.sql 

즉, 다시 쓰면 다음과 같습니다.

mysql -u 데이타베이스유저아이디 -p 데이타베이스이름 < SQL 파일   

이때 중간에 오류가 발생해도 강제로 진행하도록 하는 옵션은 -f를 주면 됩니다.
그럼 다음과 같습니다.

mysql -f -u 데이타베이스유저아이디 -p 데이타베이스이름 < SQL 파일   

즉, 다음과 같이 표현해도 됩니다.

mysql -f -u username -p databasename < yoursqlfile.sql

그래서 캡차가 되면 서버측 검증 결과가 나오게 됩니다.

자. 다음의 순서를 따라하시면 됩니다.

구글 리캡차 주소
https://www.google.com/recaptcha

1. 간단하게 리캡차 넣기
head 태그 사이에 다음을 넣는다.

<script src=”https://www.google.com/recaptcha/api.js” async defer></script>

그리고 사이트키와 함께 다음을 추가한다.
<div class=”g-recaptcha” data-sitekey=”사이트키”></div>

2.리캡차 안하면 경고창 뛰우기 

체크 안하면 checkrecaptachSubmit() 이라고 이름지은 함수가 뜨게 다음을
폼메일 액션자리에 넣는다.

<form method=”post” action=”사용하는폼메일.php” onsubmit=”return checkrecaptachSubmit();”>

그리고 checkrecaptachSubmit() 함수를 head 태그 사이에 넣는다.

<script type="text/javascript"> function checkrecaptachSubmit() { if (grecaptcha.getResponse() == ""){ alert("Please check the reCaptcha"); return false;} else { return true;}} </script>

3.서버 쪽 Validation . 서버측에는 리캡차 체크 했는지 확인 하고 발급받은 프라이빗키(시크릿키)를 넣어주면 된다. 아래 코드를 그냥 여러분 폼.php 파일에 추가해주면 됨.

<?php
if(isset($_POST['g-recaptcha-response'])){
          $captcha=$_POST['g-recaptcha-response'];
        }
        if(!$captcha){
          echo '<h2리캡차를 확인하세요</h2>';
          exit;
        }
        $secretKey = "시크릿키";
        $ip = $_SERVER['REMOTE_ADDR'];
        $response=file_get_contents("https://www.google.com/recaptcha/api/siteverify?secret=".$secretKey."&response=".$captcha."&remoteip=".$ip);
        $responseKeys = json_decode($response,true);
        if(intval($responseKeys["success"]) !== 1) {
          echo '<h2>너 스패머지? 나가라</h2>';
        } else {
          echo '<h2>고맙습니다.</h2>';
        }
?>

2. php 서버의 기본 문자셋이 UTF-8 인경우 같은 것으로 해주거나

3. 또는 간단하게 다음을 추가해 준다.

header(“Content-Type:text/html;charset=euc-kr”);

그 변화의 주축에는 인터넷이 있었구요.

인터넷 사업과 관련 1990년-2000년, 그리고 2000년에서 2010년,

2010년에서 2020년의 변화를 통해 앞으로의 방향을 예측해 보고

인터넷 비지니스에 몸담고 계시는 분들이 능동적으로 그 변화에 참여 하기 위한

글을 올리겠습니다.

결론: 지난 30년간 인터넷 비지니스를 하기 위한 창업 자본과 기술장벽은 극적으로 줄었다.

1990년대 말에 여러분이 인터넷 비지니스를 생각했다면, 서버를 장만하는것에서 부터 데이터 베이스, 프론트엔드와 백엔드의 개발등의 영역에서 많은 자본과 당시로서는 높은 기술수준이 필요 했습니다.

1.1990년대와 2020년의 기술 창업 자본의 장벽 차이

예를 들어 당시1990년대 말에 IBM 서버에 IBM 인포믹스를 데이터 베이스로 사용했다면 하드웨어와 인포믹스 소프트웨어(그것도 플로피 디스크로 제공) 구매 가격으로 당시 돈으로 1억은 족히 들었죠.

당시도 물론 Linux가 있었고 pstgre SQL 등 오픈 소스가 있었지만, 초기 상태였고

오픈소스였지만 지금과 같은 광범위한 문서등이 존재하지 않아 일반적으로 인포믹스나 오라클 등을 사용했었구요.

그러나 지금은 당시 1억 정도의 비용이 투자된 서버 환경도 월 50불(년 500불 정도) 아래의 dedicated 서버나 또는 구글 클라우드 같은 클라우드 환경이면 적은 비용으로 완벽하게 구현이 되는것이죠. 30년 사이의 돈의 값어치를 계산하지 않더라도 1년 사용으로 볼때 200/1 정도의 비용 밖에 들지 않게 되었습니다.

이처럼 인터넷 비지니스 창업을 위한 비용은 급격하게 줄어 들었습니다.

더구나 이런 비용의 절감 추세는 2010년 이후 더욱 급격하게 진행됩니다.

다음은 제가 사용하는 서버 호스팅 업체 하나의 연간 결제금액입니다. 2009년에 이 서버 하나에서만 1500불이 결제 되었습니다. 당시 이런 서버 3개에서 때에 따라서는 5개까지 운영했습니다. 연간 서버 유지에만 5000불 정도 소요 되었죠.

그럼에도 불구 하고 늘 서버 발란스 유지는 매일 매일의 일과 였죠.

참 고생 많았습니다.

그러나 지금 2020년엔 같은 수준의 서버 제공을 위한 22개 사이트는 연간 500불이면 충분합니다.

물론 그대로 두었다면 10년 전과 같이 연간 5000불 정도 비용이 나갈 것이었습니다.

그러나 CDN등의 네트워크 기술, 그리고 무엇보다 소프트웨어의 자원 효율성이 10년간 굉장히 안정적으로 바뀌었고, 서버의 core들의 지속적인 업그레이드와 하드웨어 장비의 질 계선 등에 맞춰 계속적인 다운그레이드와 또는 통합을 통해 지금의 비용을 이루었습니다.

물론 10년 전과 똑같이 그대로 있는 저가 호스팅 업체에 얹혀 있는 서비스도 있지만 그런것들은 워낙 비용이 미미해서 그대로 두고 있고요.

또한 구글 클라우드와 같은 클라우드 서버 환경 역시 초기 투자 비용이 부담이 되지 않는 환경을 만들었습니다. 유지 비용이 싼것은 아니지만, 적어도 초기에 프로젝트로서 활동이 없을때는 비용 발생이 문제 될것이 없으니까요.

2.기술의 장벽의 사라짐

초기 인터넷 비지니스 시대에는 소위 모든것을 전부 새로 만들어야 했었습니다.

2000년의 부닷컴(Boo.com) 같은 경우 온라인 패션 쇼핑몰을 만들기 위해 우왕좌왕 하면서

IBM등에게 프로젝트를 맡기기도 했지만 결국 실패 했던 시절이 초기 닷컴 시대였다.

위의 쇼핑몰을 만들고 운영하기 위해 18개월의 생존 기간 동안 boo.com은 1억3천5백만 달러를 써버리고 사라졌습니다.

참고로 지금은 boo.com 수준을 훨씬 뛰어넘는 안정적인 쇼핑몰도 월 50불 아래면 충분히 제작 운영할 수 있도록 서버스가 저렴하고 안정적으로 제공되고 있습니다.

그림은 그런 쇼핑몰 호스팅 서비스 중 하나.

이렇게 많은 닷컴들이 사라졌지만 재미 있게도, 당시 흘러간 엄청난 돈의 수혜자는 엉뚱한 곳에 있었습니다. 엄청난 정보기술 네트워크와 하드웨어 및 소프트웨어 인프라가 구축된것이다.

특히 닷컴 버블이 끝난 후 주인 잃은 , 직업 잃은 개발자등을 통해 당시 시도된 수많은 기술적 인프라가 실리콘 벨리로 흘러 들어가게 되었고, 이것은 다가올 기술적 장벽이 없는 인터넷 비지니스 시대를 위한 토대가 되었습니다.

이제는 전문적인 개발팀을 갖추지 않아도 쇼핑몰 정도는 얼마든지 만들 수 있다는것이다.

그러나 여기서 기술창업의 문제가 생긴다.

이제는 누구나 할 수 있는것이다. 누구나 할 수 있는 기술은 부가가치를 가질 수 있는 기술이 아니다.

신규 기술들의 진입 장벽 역시 높지 않다

머신 러닝도 API정도를 다룰 수 있는 능력만 있으면 충분히 가져다 쓸 수 있는 클라우드 환경들이 제공되고 있고, 개발 환경 역시 클라우드 환경에서 손쉽게 접근할 수 있는 상황이다.

개발 범위의 제약은 있겠지만, 노동 집약적 퍼블리싱 위주의 개발은 일년 정도만 열심히 배우면 누구나 창업가로서 스스로 구현이 가능한 수준이다.

그러나 일년 정도 해서 누구나 할 수 있는 기술이 경쟁력이 있을까?

이런 점에서 인터넷 서비스는 기술과 자본의 경쟁이 아닌 창의성과 지치지 않는 꿈과 열정의 경쟁이 될 것이다.

즉, 인성의 경쟁이 될 것이다.

열정과 꿈을 간직하고 아주 빨리 배우는 학습 능력을 가지고 ,사업중 어떤 난관이 와도 포기 하지 않는 자세를 가지고 있어야 한다.

그러나 얼마나 힘든일인가?

인터넷 비지니스를 한다는 것은 개발자가 될 수 밖에 없어야 하고, 그것은 매일 매일의 외로움과 나 자신과의 싸움이다. 그저 컴퓨터 앞에서 책상에서 적어가는 일이 사회와의 역사와의 대화라고 생각하며 적어나가야 하는 고독한 일이다. 왜 수익이 안나는가, 왜 코드가 안되는가 하는 자괴감을 느끼는 것이 연속인 삶이다.

수익이 나도 변화속에서 그것을 유지하기 위해 몸부림 치며 변하는 환경이 얼마나 무서운지 처절하게 느낄 수 밖에 없는 사업이다.

이런 상황에서 앞서 말한것 처럼, 기술적 장벽과 자본적 장벽 역시 없기에 모든 사람들이 여러분의 경쟁자로 다가올 것이다.

결국 이런 어려움 속에서 인터넷 비지니스를 유지 할 수 있는것은 예술가적인 자세가 없이는 불가능하지 않을 가 싶다.

달과 육펜스의 다음 대사 같은 자세가 본인에게 적용된다면 인터넷 사업을 할 수 있을것이다.

“내가 말하지 않았소. 그림을 그리지 않고는 견딜 수가 없다고. 내 자신도 어떻게 할 수가 없어요. 물에 빠진 사람은 수영을 잘하느니 못하느니, 그런 말을 할 처지가 못 되죠. 어떻게든 헤엄을 치지 않으면 빠져 죽고 말 테니까.”

창업가에게 긍정적인 마인드는 생명이 아닐까 생각 한다.

그 변화의 주축에는 인터넷이 있었구요.

인터넷 사업과 관련 1990년-2000년, 그리고 2000년에서 2010년,

2010년에서 2020년의 변화를 통해 앞으로의 방향을 예측해 보고

인터넷 비지니스에 몸담고 계시는 분들이 능동적으로 그 변화에 참여 하기 위한

글을 올리겠습니다.

순차적으로 이 글은 진행되지 않겠으며, 인터넷 비지니스라는 미래를 향한 연결점을 축으로 진행해 보도록 하겠습니다.

2010년에서 2020년의 변화는 문화산업이라는 틀로 이해하면 좋을 듯 합니다.

App Annie에서 나온 자료를 보면 지난 10년간 가장 소비자들이 비용을 많이 지출한 곳은 동영상과 음악이라는 것을 알 수 있습니다.

즉 문화산업이라는 것이죠.

분명한 것은 디지털 기반으로 음악가가 돈을 벌기 수월해진것은 분명합니다.

전 범위적인 경쟁력에서 한국의 문화 산업과 한국 IT의 부흥은 관련이 되어 있습니다.

일본의 J Pop의 영향력이 사라진 지금, 마찬가지로 일본 산업도 자동차의 혼다 외에는 별다는 미래 경쟁력이 보이지 않지만,

한국은 다르죠.

이 추세는 더욱 강화되고 공고화 될 것입니다.

자율 주행차 시대에 소비될 것도 역시 사람들은 차 안에서 음악을 들을 테니까요.

인터넷 사업을 하시는 분은 더욱 문화 산업에 집중을 해야 할 시기라고 봅니다.