전환율 실험은 왜 한 번에 하나만 바꿔야 하나

전환율을 올리고 싶을 때 한 번에 여러 곳을 바꾸면 결과는 좋아져도 이유가 남지 않는다. 작은 프로젝트일수록 한 번에 하나만 바꿔야 다음 실험으로 이어지는 판단 근거가 쌓인다.

전환율이 낮을 때 제일 먼저 하지 말아야 할 일

글의 핵심을 정리한 도식 (본인 데이터·구조 기반)

전환율이 낮으면 화면 전체를 바꾸고 싶어진다. 문구도 바꾸고, 버튼도 바꾸고, 보상도 넣고, 동선도 줄이고 싶다.

그렇게 하면 숫자는 움직일 수 있다. 문제는 왜 움직였는지 모른다는 것이다.

작은 프로젝트에서 전환율 실험의 목적은 한 번에 정답을 찾는 것이 아니다. 다음 배치에서 덜 틀리기 위한 판단 근거를 남기는 것이다. 그래서 한 번에 하나만 바꾸는 원칙이 중요하다.

먼저 전환 구간을 세 단계로 나눈다

전환율을 볼 때는 전체 퍼널을 한 덩어리로 보면 안 된다. 어디서 끊기는지 봐야 한다.

기본 구간은 세 단계로 나눌 수 있다.

구간	질문
유입 -> 첫 행동	들어온 사람이 첫 클릭, 첫 입력, 첫 실행까지 가는가?
첫 행동 -> 핵심 루프	첫 행동 뒤에 제품이 보여주려는 핵심 경험까지 도달하는가?
핵심 루프 -> 다음 방문	다시 들어올 이유가 남는가?

이 구간 중 하나만 고른다. 이번 주에 모든 구간을 동시에 고치려고 하면 회고가 흐려진다.

바꿀 수 있는 것도 하나만 고른다

구간을 골랐다면 변경 변수도 하나만 고른다.

변수	예시
카피	버튼 문구, 안내 문장, 첫 화면 설명
버튼	위치, 크기, 색, 표시 조건
보상	첫 행동 직후 보여주는 결과
동선	클릭 수, 입력 순서, 화면 이동

예를 들어 첫 행동 전환이 낮다면 버튼 문구만 바꾼다. 같은 주에 보상과 동선까지 같이 바꾸면 숫자가 올라가도 이유를 설명할 수 없다.

전환율 실험은 "이번 주에 무엇이 맞았는가"보다 "다음 주에 무엇을 그대로 두고 무엇을 다시 볼 것인가"를 남겨야 한다.

표본이 작을 때의 현실적인 태도

작은 프로젝트의 전환율 실험에는 불편한 진실이 하나 있다. 방문자가 적으면 통계적으로 유의미한 결론이 거의 안 나온다는 것. 숫자로 보면 더 분명하다. 전환율 2%인 페이지가 3%로 좋아진 걸 통계적으로 확인하려면 버전당 약 3,800명, 합쳐서 7,600명이 필요하다(Evan Miller 표본 계산기 기준, 유의수준 5%·검정력 80%). "20% 개선" 같은 현실적인 폭을 검출하려면 4만 명이 넘는다. 하루 수십 명 규모에서 2%와 3%의 차이는 그냥 우연일 수 있다.

전환율 최적화 업계의 거두인 CXL의 입장도 같다. 유효한 테스트를 돌릴 트래픽이 없으면 A/B 테스트를 아예 하지 말라는 것. 대안은 정성 리서치다. 사용자 5명에게 화면을 보여주고 어디서 막히는지 지켜보는 게, 한 달짜리 가짜 A/B 테스트보다 확실하다.

그래서 대규모 서비스의 A/B 테스트 방법론을 그대로 가져오기보다 태도를 조정하는 편이 현실적이다. 변경은 최소 1주 단위로 유지해서 요일 효과를 상쇄하고, 수치의 절대값보다 방향과 행동 장면(어디서 멈추는지, 무엇을 누르는지)을 같이 본다. 외부 유입이 출렁인 주(어딘가에 소개됐다든지)는 판단에서 제외한다.

표본이 작다는 건 실험을 못 한다는 뜻이 아니라, 결론을 가볍게 들고 다음 주에 다시 확인해야 한다는 뜻이다.

숫자만으로 유지 결정을 내리지 않는다

전환율이 올랐다고 무조건 유지하면 안 된다. 작은 프로젝트에서는 숫자보다 행동 장면이 더 중요한 경우가 있다.

예를 들어 전환율은 올랐지만 이탈 코멘트가 나빠졌다면 유지하기 어렵다. 반대로 수치 변화가 작아도 사용자의 행동이 선명해졌다면 한 주 더 볼 가치가 있다.

결정은 이렇게 닫는다.

결과	판단
수치 상승 + 코멘트 개선	유지 후보
수치 상승 + 코멘트 악화	보류 또는 재실험
수치 변화 작음 + 행동 선명	한 주 더 관찰
이유 설명 불가	판단 보류

실험 로그는 짧게 남긴다

실험 기록은 길 필요가 없다. 대신 같은 형식이어야 한다.

구간: 첫 행동 -> 핵심 루프
가설: 첫 결과가 늦게 보이면 사용자가 이탈한다
변경: 첫 결과 메시지를 1단계 앞으로 이동
고정: 버튼 문구, 보상, 화면 순서
결과: 전환율 변화 + 코멘트 변화
결정: 유지 / 중단 / 재실험

이 형식이 있으면 다음 주에 같은 논점을 처음부터 다시 열지 않는다.

사이드프로젝트 첫 주에는 완벽한 분석이 필요 없다

초기 프로젝트는 표본이 작다. 그래서 통계적으로 완벽한 판단을 하려고 하면 오히려 아무것도 못 한다.

첫 주에는 세 가지면 충분하다.

항목	보는 이유
D1 재방문	다시 들어올 이유가 있었는가
세션 길이	핵심 경험에 머물렀는가
재방문 이유가 보이는 코멘트	숫자 뒤의 행동 맥락이 있는가

전환율 실험은 이 세 지표와 연결되어야 한다. 버튼 하나를 바꿨는데 재방문 이유가 더 선명해졌다면, 그 실험은 수치 이상으로 의미가 있다.

자주 묻는 질문

전환율이 너무 낮으면 여러 개를 한꺼번에 바꿔도 되나?

응급 처방으로는 가능하다. 다만 그 경우는 실험이라기보다 리셋에 가깝다. 실험으로 남기려면 다시 구간과 변수를 쪼개야 한다.

표본이 작으면 전환율을 봐도 의미가 없나?

완벽한 결론을 내리기는 어렵지만, 행동 장면을 읽는 데는 의미가 있다. 작은 프로젝트에서는 숫자와 코멘트를 함께 봐야 한다.

버튼 색만 바꾸는 실험도 가치가 있나?

버튼 색 자체보다 그 변경이 어떤 가설을 검증하는지가 중요하다. "버튼이 안 보여서 클릭이 낮다"는 가설이라면 가치가 있다.

코멘트가 없으면 무엇을 봐야 하나?

첫 행동까지 걸린 시간, 이탈 화면, 재방문 여부처럼 행동 로그를 본다. 코멘트가 없다고 판단을 멈추기보다 다음 실험에서 코멘트를 받을 장치를 만든다.

게임이 아닌 웹서비스에도 적용할 수 있나?

가능하다. 유입, 첫 행동, 핵심 루프, 다음 방문이라는 구조는 작은 웹서비스, 개인 앱, 콘텐츠 프로젝트에도 적용할 수 있다.

실험 이전 단계, 그러니까 무엇을 만들고 어떤 지표부터 볼지는 AI 에이전트로 사이드프로젝트 만들기에서 MVP 흐름으로 다뤘다. 전환율 실험은 그 다음 장이다.

실험 이전에 무엇을 볼지부터 정하고 싶다면 사이드프로젝트 첫 주에는 지표 3개만 보면 된다가 앞 순서다.

기준선이 필요하면 이 숫자를 쓰자

전환율이 잘 나오는 건지 감이 없을 때 쓸 수 있는 업계 기준선이다. 이커머스 구매 전환율의 글로벌 평균은 2~3% 선(Dynamic Yield 라이브 벤치마크 기준 2.66%), 캠페인 랜딩페이지의 중앙값은 6.6%(Unbounce 4만 페이지 분석)다. 단, 랜딩페이지 수치는 리드 폼 같은 가벼운 전환 기준이라 일반 사이트와 직접 비교하면 안 된다.

그러니 신생 사이드프로젝트의 구매·가입 전환이 1%대라면 망한 게 아니라 평균 언저리의 출발이다. 내 입장은 이렇다. 작은 프로젝트에서 전환율 실험의 진짜 산출물은 숫자가 아니라 "다음 주에 무엇을 바꿀지에 대한 한 줄 가설"이고, 그 가설이 매주 한 개씩 쌓이는 프로젝트는 어떤 식으로든 좋아진다.