https://www.youtube.com/watch?v=T9ikpoF2GH0
30:00 ~ 1:04:14
자, 이제 방금 말씀드린 각 질문들—
그걸 바탕으로 각 그로스 채널들을
좀 더 깊이 살펴볼 텐데,
모든 걸 완벽하게 깊게 다루는 건 현실적으로 어렵습니다.
그래서 어떤 채널은 좀 더 자세히 설명하고,
어떤 건 간단하게만 짚고 넘어갈게요.
먼저 **추천(Referrals)**부터 이야기해볼게요.
저는 에어비앤비에서
추천 프로그램을 아주 오랜 시간 동안 담당했어요.
추천이란,
말하자면 **‘엔지니어링된 입소문(engineered word-of-mouth)’**이에요.
이미 사람들이 여러분 제품에 대해 이야기하고 있다면,
추천 프로그램은 그 입소문을
더 잘 퍼지게 만드는 시스템이라고 보면 됩니다.
그 방식은 여러 가지가 있어요.
예를 들어,
더 쉽게 공유할 수 있도록 제품을 설계한다든지,
혹은
금전적인 인센티브를 제공한다든지요.
에어비앤비의 추천 프로그램에서는
이런 식으로 인센티브를 설정했어요:
추천한 사람(Referrer)은
누군가 가입하고 여행하면 $20의 여행 크레딧을 받고,
추천받은 사람(Referee)은
$40의 여행 크레딧을 받았어요.
이 구조를 기반으로,
우리는 최대한 많은 사람들을
우리가 “추천 퍼널(referral funnel)”이라고 부르는 흐름으로 넣으려고 했어요.
방금 눈치채셨겠지만,
저는 다시 “퍼널(funnel)”이라는 단어를 썼죠.
맞아요, 모든 제품은 하나의 퍼널입니다.
그리고 추천 프로그램이라는 제품 자체도 퍼널이에요.
그래서 우리는 이 추천 프로그램을
여러 단계로 쪼개서 분석했어요.
그리고 그 각 단계를 정밀하게 측정했죠.
그 후 각 단계마다 **전환율(conversion rate)**을 분석해서
최종 목표에 도달하는 비율을 추적했어요.
첫 번째 단계는 이거예요:
“주간 활성 사용자(weekly active users) 중 몇 명이 추천 프로그램을 봤는가?”
이 숫자를 측정하지 않았다면,
얼마나 많은 사용자가 추천 기능을 봤는지도 몰랐을 거예요.
실제로 제가 다른 회사들과 일하면서 자주 목격한 사례 중 하나가,
추천 프로그램은 있는데,
활성 사용자 중 아주 적은 비율만이 그 기능을 실제로 본다는 것이에요.
자, 생각해보세요.
사용자가 이 기능을 보지도 못했다면,
어떻게 그 기능을 사용할 수 있겠어요?
그래서 에어비앤비에서도
초기에는 이 숫자를 측정하기 시작했고,
그걸 통해 엄청난 기회를 발견했죠.
“사람들이 이 기능이 있는 줄도 모르고 있구나.”
그래서 우리는 단순히 추천 기능을 보여주는 것만으로도
큰 차이를 만들 수 있었어요.
물론 그 다음에도,
각 단계를 계속해서 최적화할 수 있는 기회들이 있었어요.
예를 들어—
얼마나 많은 사용자가 추천을 보낸다든지,
한 사람이 몇 명에게 추천을 보냈는지,
그 중 몇 명이 가입하는지,
가입자 중 몇 명이 실제로 여행을 예약하는지—
이런 모든 지표를 측정하고 개선해 나갔습니다.
다음은 또 다른 예시예요.
이 슬라이드는 나중에 온라인으로도 올라갈 거라서
굳이 지금 사진 찍거나 필기하실 필요는 없어요.
여기서는 그 추천 퍼널을 더 세분화해서 나눴고,
우리는 이 구조를 수년 동안 지속적으로 최적화했어요.
진짜로요. 이 모든 단계가 정말 중요했고,
우리는 이걸 몇 년간 꾸준히 개선해왔어요.
그럼 이제 실제 사례 하나를 보여드릴게요.
추천 프로그램의 **전환율을 최적화(conversion rate optimization)**했던 사례입니다.
여기 보이는 건 추천 초대 이메일(referral invite email)이에요.
제가 여러분 중 한 명에게 에어비앤비를 추천한다고 했을 때,
여러분이 받게 될 이메일이죠.
이 이메일에는 이렇게 적혀 있어요:
“Gustav Ahlström이 Airbnb에서 여행 크레딧 $40을 보냈습니다.”
“방을 예약할 수 있어요. 아래 링크를 클릭해서 2018년 5월 25일까지 가입하세요.”
그 밑에는 ‘초대 수락(Accept Invitation)’ 버튼이 있고,
제 사진과 이름이 들어 있어요.
겉으로 보면 단순한 이메일처럼 보이겠지만—
이 이메일은 수십 번의 실험을 통해 최적화된 결과물입니다.
여기 들어간 모든 요소가 다 이유가 있는 것이에요.
우연히 들어간 건 하나도 없어요.
자, 이제 이 이메일을 구성하는 각 요소에 대해 이야기해볼게요.
첫 번째는 **제목(subject line)**이에요.
제목에는 **제 이름(Gustav)**이 들어가 있죠.
이게 중요한 이유는,
이 이메일을 제 친구가 받는다면,
제 이름이 들어간 이메일일수록 열어볼 확률이 높아지기 때문이에요.
그 다음은 이메일 상단의 **헤드라인(headline)**이에요.
이건 굉장히 **명확한 가치 제안(value proposition)**을 담고 있어요.
여러분, 정말 많은 이메일들이
이 핵심 메시지를 제대로 전달하지 못해요.
즉, 이 이메일이 무엇에 대한 것인지
받는 사람이 즉각적으로 이해할 수 있게 만드는 게 정말 중요하죠.
이 이메일은 명확하죠.
“내가 너에게 $40을 보냈고,
그걸 에어비앤비에서 첫 여행 때 쓸 수 있어.”
딱 그 얘기를 하고 있어요.
그다음 문장은
“2018년 5월 25일까지 가입하세요.”
이건 뭐죠?
바로 **긴급성(urgency)**이에요.
사람들은 기한이 있으면 행동할 확률이 높아지거든요.
“언제든지 가입하세요”보다는
“5월 25일까지”라고 했을 때
클릭해서 가입할 확률이 훨씬 높아집니다.
그리고 버튼 텍스트를 보세요.
“초대 수락(Accept Invitation)”이라고 되어 있죠.
이 문구는 **배타성(exclusivity)**을 줍니다.
“가입하기(Sign Up)” 같은 일반적인 문구보다 훨씬 더 효과적이에요.
왜냐하면 이건 누군가의 개인적인 초대를 수락하는 것처럼 보이니까요.
사람은 초대받았다는 느낌에 더 잘 반응하죠.
그리고 마지막으로,
이메일 하단에는 저의 사진, 이름, 거주지, 에어비앤비 사용 기간이 들어가 있어요.
이건 **강력한 사회적 증거(social proof)**예요.
즉, “이 사람이 직접 써봤고,
이 제품을 믿고 추천한다”는 신호를 주는 거죠.
여기까지가 우리가 이 이메일 하나를 만들면서
고려한 수많은 실험의 일부예요.
이게 바로 **전환율 최적화(conversion optimization)**가 실제로 어떻게 작동하는지 보여주는 사례죠.
자, 이제 다음 주제는 **유료 그로스(Paid Growth)**입니다.
이 영역은 너무 깊게 들어가지 않을 거예요.
다만 중요한 개념들을 짚어드릴게요.
먼저, 이 말을 꼭 드리고 싶어요:
“수익(revenue)이 없다면, 유료 광고를 하지 마세요.”
너무 많은 회사들이
매출이 전혀 없는 상황에서
광고비를 쓰기 시작해요.
그건 큰 실수예요.
만약 여러분이 실제로 수익을 내고 있다면,
그때부터 몇 가지 개념을 알고 있어야 해요.
첫 번째는,
새로운 사용자를 한 명 유치하기 위해
내가 얼마를 쓰고 있는가?
이걸 **CAC (Customer Acquisition Cost)**라고 합니다.
고객 획득 비용이죠.
두 번째는,
그 사용자가 유입된 이후
얼마나 오랫동안, 그리고 얼마나 많은 금액을 지불할 것인가?
이걸 LTV (Lifetime Value) 혹은 Payback Time이라고 해요.
즉, 이 유저들이
얼마 동안 얼마만큼의 가치를 우리에게 줄 수 있는지를
어느 정도 정확하게 예측할 수 있어야 한다는 뜻이에요.
예를 들어, 어떤 사용자가
한 달에 $10을 결제한다고 해볼게요.
그러면 아까 배운 리텐션 분석(cohort analysis)을 통해
그 사용자가 평균적으로 몇 개월 동안 남아 있는지를 알 수 있겠죠?
그걸 통해 계산해볼 수 있어요.
“이 유저 한 명이 평생 우리에게 줄 가치는 $40쯤 되겠구나.”
그리고 이 사용자를 유치하기 위해 내가
$20을 썼다?
그러면 아주 괜찮은 구조인 거예요.
그러면 좋은 거죠.
**CAC(Customer Acquisition Cost)**가
**LTV(Lifetime Value)**보다 낮다면,
그건 훌륭한 유료 그로스 전략이라는 뜻입니다.
예를 들어,
한 명의 사용자를 확보하는 데 $20이 들고,
그 사용자가 한 달에 $10씩 결제한다면,
대략 두 달 정도면 비용을 회수할 수 있어요.
이걸 우리는 Payback Time이라고 부르죠.
물론 이 개념은 실제로는 좀 더 복잡하지만,
지금은 간단히 설명하자면 그렇습니다.
자, 그다음 중요한 개념은 **어트리뷰션(Attribution)**이에요.
이건 특히 구글과 페이스북 광고를 동시에 쓰고 있다면 매우 중요합니다.
왜냐하면 우리가 쓴 광고비가 실제로 어떤 사용자에게 영향을 미쳤는지를 추적해야 하거든요.
“내가 이 $1을 썼을 때,
정말 새로운 유저를 얻은 건가?
그 유저가 바로 이 광고에서 온 게 맞는가?”
이런 걸 정확히 알아야 해요.
어트리뷰션은 꽤 복잡한 개념이긴 하지만,
유료 그로스를 시작한다면 반드시 배워야 할 영역입니다.
자, 마지막으로,
제가 보기엔 스케일에서 의미 있는 유료 그로스 채널은 딱 네 개뿐이에요.
바로 페이스북, 인스타그램, 구글, 유튜브.
이 네 개의 플랫폼이야말로
실제로 많은 회사들이 이 위에서 성장하고 있는 기반입니다.
정말 그래요. 이건 잘 알려지지 않은 진실이기도 하죠.
요즘 무료 채널은 점점 힘들어지고 있고,
유료 채널은 점점 더 강력해지고 있어요.
예를 들어볼게요.
예전에는 페이스북 뉴스피드에서
그냥 콘텐츠만 잘 만들어도 사용자 유입이 됐어요.
근데 지금은?
페이스북에 돈을 내지 않으면 절대 잘 노출되지 않아요.
인스타그램도 마찬가지예요.
초기에는 유기적 노출이 잘 됐지만,
지금은 거의 광고 중심의 플랫폼이 됐죠.
이건 모든 플랫폼이 겪는 전형적인 변화 패턴이에요.
새로운 플랫폼이 등장하면
초기에는 사용자 확보를 위해
무료 유입을 장려해요.
하지만 시간이 지나면,
그걸 전부 수익화하려고 하죠.
페이스북, 구글, 인스타그램—
지금은 다 그런 상태입니다.
자, 다음 주제는 **검색 엔진 최적화(SEO: Search Engine Optimization)**예요.
어떤 사람들은 SEO를 두고
“그거 옛날 기술 아니야?”라고 말하곤 해요.
하지만 제 경험상, 전혀 그렇지 않아요.
SEO는 지금도 매우 중요합니다.
왜냐하면 우리가 여전히 구글에 검색을 통해
앞으로 무엇을 할지를 결정하기 때문이에요.
구글은 세상에서 가장 큰 웹사이트 중 하나예요.
진짜 어마어마하게 중요하죠.
자, 여기서 SEO를 할 때 제일 먼저 알아야 할 점은 이거예요:
여러분이 웹사이트에서 보는 것과 구글이 보는 것은 다르다.
구글은 이미지를 볼 수 없고,
자바스크립트를 거의 해석하지 못해요.
예를 들어, 에어비앤비 사이트에 들어가 보면
멋진 이미지들과 다채로운 콘텐츠가 가득하잖아요?
근데 구글은 그걸 보지 못해요.
구글이 실제로 보는 건
HTML 코드에 쓰인 텍스트들이에요.
그 텍스트들이 제대로 마크업(markup) 되어 있고,
구글이 인덱싱할 수 있는 상태여야 해요.
만약 그렇지 않다면,
그건 전적으로 여러분 책임이에요.
구글 탓이 아닙니다.
그래서 SEO에는 반드시 챙겨야 할 기본적인 원칙들이 있어요.
가장 쉬운 출발점은,
여러분의 웹사이트를 SEO 브라우저로 실행해보는 거예요.
그 브라우저는 이미지나 자바스크립트를 제거하고
구글처럼 웹사이트를 보는 시점을 제공해줘요.
그렇게 보고 나서 스스로에게 물어보세요:
“내가 이걸 보기만 해도 이 제품이 뭘 하는지 알 수 있을까?”
명확한 언어,
자바스크립트가 아닌 방식으로,
여러분 제품이 뭘 하는지 설명해야 합니다.
그게 SEO의 가장 기본입니다.
SEO에는 크게 두 가지 종류의 최적화가 있어요.
이건 아주 높은 수준에서 나누는 분류인데요,
에어비앤비에는 이걸 전담하는 팀이 따로 있었고,
그 팀에만 20명 이상이 있었어요.
그중 12~13명은 엔지니어였고요.
그러니까 이건 엄청나게 중요한 영역이라는 겁니다.
자, 그 두 가지는 뭐냐면—
하나는 온페이지 최적화(on-page optimization),
다른 하나는 **오프페이지 최적화(off-page optimization)**예요.
먼저 온페이지 최적화부터 볼게요.
온페이지 최적화는 그냥 “리스트를 만들어서 이것저것 바꾸는 것”으로 시작하는 게 아니에요.
먼저 전략부터 세워야 해요.
"내가 어떤 키워드로 순위를 올리고 싶은가?"
"사람들이 구글에서 어떤 키워드를 검색하고 있는가?"
그걸 먼저 파악해야 해요.
그래서 여러분이 해야 할 건,
**키워드 분석(keyword research)**이에요.
“내 제품과 관련이 있는 키워드는 뭐가 있을까?”
그리고 그 키워드를 실제로 사람들이 많이 검색하고 있을까?
그걸 파악해야 하죠.
그래서 이 중에서
검색량이 충분히 많고,
경쟁은 너무 심하지 않은 키워드들을 골라야 해요.
그런 키워드가 여러분이 1등을 노려볼 수 있는 키워드입니다.
이 전략이 세워지고 나면,
온페이지에서 뭘 바꿔야 할지도 명확해져요.
그제야 **“이 키워드를 중심으로 내 사이트를 어떻게 최적화할까”**를 고민하는 게 맞습니다.
이건 작은 규모에서도 할 수 있는 작업이에요.
하지만 정말 거대한 규모로 SEO 성장을 하려면,
**‘SEO 실험(SEO experimentation)’**이 필요해요.
즉, 그냥 기본 가이드를 따라가는 걸 넘어서
실제 실험을 통해 효과가 있는 걸 찾아내야 합니다.
그리고 또 다른 영역인
**오프페이지 최적화(Off-page Optimization)**는 뭐냐면,
“누가 나에게 링크를 걸고 있는가?”예요.
여러분 웹사이트를 향한 외부 링크가 얼마나 있는지,
어떤 웹사이트가 링크를 걸고 있는지,
그 사이트의 도메인 권위(domain authority)는 어떤지,
이런 걸 전부 살펴야 해요.
이게 왜 중요하냐면,
구글은 링크를 ‘신뢰의 지표’로 보기 때문이에요.
예를 들어 제가 여러분 웹사이트에 링크를 건 것과
**뉴욕타임즈(New York Times)**가 링크를 건 건
전혀 다른 효과를 주겠죠.
실제로는 엄청난 차이가 있어요.
구글은 그걸 신뢰도에 큰 영향을 미치는 시그널로 봐요.
의외일 수 있지만,
에어비앤비가 받은 수많은 언론 보도들이
실제로 오프페이지 SEO에 엄청난 영향을 줬어요.
전 세계 수많은 기자들이 에어비앤비에 대해 글을 썼고,
그게 자연스럽게 수많은 **링크(backlinks)**를 만들어냈어요.
이건 정말 중요했어요.
그렇게 언론에 실리고, 블로그에 소개되고,
사람들이 링크를 걸어주는 게
결국엔 검색 순위에도 큰 영향을 준 거예요.
반면에,
아무도 여러분에 대해 쓰지 않는다면?
링크도 거의 없을 거예요.
왜냐하면 웹의 구조가 예전 같지 않거든요.
예전에는 수많은 블로그나 웹사이트들이 서로 링크를 주고받았어요.
근데 지금은?
대부분 사람들이 웹사이트조차 따로 만들지 않아요.
그러니까 이제는
“어떻게 하면 사람들이 나에게 링크를 걸어주게 할까?”
이걸 전략적으로 생각해야 해요.
가장 쉬운 방법은 이거예요:
어디든 여러분에 대해 글이 올라갔을 때—
블로그든, 언론 기사든, 커뮤니티든—
그 글을 쓴 사람에게 **“우리 사이트에 링크도 달아주세요”**라고 요청하세요.
정말 단순하죠?
근데 그게 실제로 큰 차이를 만듭니다.
자, 이제 마지막 주제입니다.
바로 **그로스 팀(Growth Teams)**에 대한 이야기예요.
요즘 그로스 팀은 보통
엔지니어, 데이터 사이언티스트, 디자이너, 제품 관리자, 사용자 리서처 등으로 구성돼 있어요.
여러분 회사가 아직 작다면,
이 역할들을 다 갖추진 못했을 수도 있어요.
하지만 그건 괜찮아요.
나중에 그로스에 본격적으로 투자하게 되면
이런 구성으로 팀이 세팅될 수 있다는 걸 알려드리는 거예요.
그럼 팀 구성을 어떻게 해야 할까요?
크게 두 가지 방법이 있어요.
하나는 그로스 팀을 아예 별도로 만드는 것,
다른 하나는 제품 팀 안에 통합해서 운영하는 것이에요.
사실 많은 작은 회사들은
아직 그로스라는 개념 자체가 생소해요.
그래서 이런 식으로 말하죠:
“우리 그로스 엔지니어 한 명 채용했어.”
“이 사람이 우리 회사 성장을 전부 책임질 거야.”
하지만 그건 별로 효과적인 전략이 아니에요.
그래서 여기에는 약간의 균형이 필요해요.
한쪽 극단은
“우리 회사 모두가 그로스를 책임진다”는 식이에요.
하지만 이건 거의 항상 실패해요.
왜냐하면 결국 아무도 책임지지 않게 되거든요.
반대로,
그로스를 단 한 명이나 한 팀에게 전부 맡겨버리면
그 팀이 전체 성장을 감당하기에는 무리가 생겨요.
그래서 중요한 건,
**명확한 목표(goals)**와
제품 내에서의 명확한 역할 분담입니다.
어떤 식으로 나눌 수 있냐면, 예를 들어볼게요.
Gusto라는 회사가 있다고 해봅시다.
Gusto의 핵심 제품은 **직원 급여 처리(payroll processing)**예요.
그러면 회사 전체에서
이 기능을 중심으로 동작하는 **핵심 경험(core product)**을 만드는 사람들—
이들은 ‘제품 팀(product team)’이 될 수 있어요.
반면,
새로운 사용자를 제품에 끌어들이고,
그들이 이 핵심 경험까지 도달하도록 돕는 사람들—
이건 바로 ‘그로스 팀’이 담당하는 부분이에요.
이렇게 나누는 게
‘제품’과 ‘그로스’ 사이의 자연스러운 경계가 될 수 있습니다.
그럼 “우리는 어떤 걸 먼저 해야 할까?”
“무엇부터 실험해야 하지?” 이런 고민이 들죠.
그럴 땐 아주 단순한 계산법을 써요.
“이 작업의 난이도는 어느 정도인가?”
“최소 기능(minimum viable thing)으로 실험하려면 뭐가 필요할까?”
“이걸 했을 때 기대되는 결과는 얼마나 클까?”
이걸 간단히 곱셈처럼 생각하면 돼요.
즉,
예상 결과가 최고로 잘 됐을 때도 효과가 미미하다면,
그건 하지 않는 게 나아요.
설령 그게 쉬운 작업이라 하더라도요.
좋아요, 이제 이 강연의 마지막 두 섹션만 남았습니다.
첫 번째는 **의사 결정(Making Decisions)**에 관한 이야기입니다.
에어비앤비의 모든 제품 매니저에게
이 질문을 던져보세요:
“너가 다음 회사를 하게 된다면, 에어비앤비에서 배운 것 중
가장 중요한 도구나 개념은 뭐라고 생각하니?”
대부분은 이렇게 대답할 거예요:
“실험 프레임워크(Experimentation Framework)” 혹은 “A/B 테스트 시스템”
에어비앤비에서는 거의 모든 중요한 결정을
A/B 테스트를 통해 내렸어요.
그리고 저는 이 부분에서
Soheil(소헤일)이 나중에 이야기하게 될 것이 정말 반가워요.
왜냐하면 제가 지금 인용하려는 문장은
그가 투자자 피치덱에서 사용했던 구절 중 하나거든요.
이게 그 문장이에요:
“세상의 대부분은 감으로 결정하거나, 그냥 찍는다.
운이 좋으면 맞고, 아니면 틀린다.
데이터와 실험 없이 계속 결정하면,
결국 ‘운 좋게 맞히거나’, ‘그저 틀리게 된다.’”
이게 진짜 문제예요.
여러분이 회사 규모를 키우면 키울수록
점점 더 많은 결정을 내려야 하게 되고,
그중 어려운 결정도 많아져요.
그럴 때 실험 없이 그냥 감으로 판단하게 되면,
운에 기대는 수밖에 없어요.
에어비앤비에서는 이걸 방지하기 위해
모든 주요 결정을 A/B 테스트로 검증했어요.
자, 이게 실제로 어떻게 생겼는지 살펴볼게요.
어떤 기능을 배포한다고 해봅시다.
그 기능이 사용자 지표에 어떤 영향을 미치는지 보고 싶겠죠?
예를 들어서,
하루 단위로 어떤 핵심 지표를 추적하고 있는데,
수요일에 그 기능을 릴리스했어요.
그리고 2주 뒤에 확인해보니까
지표가 올라갔어요.
“오, 성공했네!” 라고 생각하겠지만,
사실 그렇게 단순하지 않아요.
왜냐하면 이 변화가
기능 때문인지,
아니면 다른 외부 요인 때문인지
알 수 없기 때문이에요.
예를 들어, 여러분이 축구 앱을 운영 중인데
그 주에 월드컵이 시작됐다?
그럼 유저 활동이 갑자기 폭증하겠죠.
아니면, 교육 관련 앱인데
9월 신학기 시즌이었다?
역시 사용자 수가 늘어날 수 있어요.
그런 모든 외부 변수를 통제하려면
우리는 반드시 **‘대조군(counterfactual)’**이 필요해요.
그게 바로 A/B 테스트입니다.
즉, 같은 시점에 두 개의 버전을
서로 다른 사용자 그룹에 동시에 보여주는 거죠.
그렇게 해야만
“이 변경 사항이 진짜로 효과가 있었는가?”를
정확히 파악할 수 있어요.
이게 조금 기술적으로 들릴 수도 있지만,
여러분이 반드시 내재화해야 할 핵심 개념이에요.
왜냐하면,
여러분이 지금까지 어떤 제품을 만들고
어떤 결정들을 내리면서 운 좋게 성공해왔다 하더라도,
회사가 더 커지고 복잡해지면
그 직관만으로는 한계에 부딪히게 됩니다.
그래서 그런 시점부터는
결정의 근거를 실험을 통해 확보해야만 해요.
에어비앤비에서는 이게 너무 중요했기 때문에
아예 별도로 ‘실험 리뷰(Experiment Review)’라는 미팅을 만들었어요.
이건 어떻게 하냐면,
그로스 팀 전체가 이런 회의실에 모여요.
그리고 우리가 최근에 만든 기능들을
전부 하나하나 검토합니다.
그리고 흥미로운 건—
리뷰를 시작하기 전에
“어떤 버전이 승자인지” 절대 말하지 않아요.
대신에 회의 참석자들에게 먼저 물어보는 거예요:
“자, 여러분 생각에 어떤 버전이 더 좋았을 것 같아요?”
자, 이제 여러분과도 같이 한번 해볼게요.
이건 실제 에어비앤비 실험 리뷰 미팅의 사진이에요.
저희는 2~3주마다 한 번씩 이걸 했고,
진짜 재미있으면서도 매우 교육적인 시간이었어요.
왜냐하면 이걸 통해
“제품 결정은 얼마나 어려운가”를 매번 깨닫게 되거든요.
그럼 첫 번째 실험 들어가볼게요.
이 실험의 목표는,
에어비앤비 모바일 앱에서
숙소 페이지를 공유하는 비율을 늘리는 것이었어요.
즉, 유저들이 얼마나 많이 ‘공유하기’ 버튼을 누르는가를 늘리고 싶었던 거죠.
당시에 두 가지 공유 UI가 있었어요.
하나는 기존의 네이티브 공유창이었고,
다른 하나는 우리가 새로 만든 풀스크린 커스텀 공유창이었어요.
이건 더 많은 색상과 버튼을 포함하고 있었고요.
이제 질문 드릴게요:
기존의 네이티브 공유창이 더 많은 공유를 유도했다고 생각하는 분?
(손 드세요)
오케이, 대략 절반이네요.
그럼 새로 만든 커스텀 공유창이 더 효과적이었다고 생각하는 분?
음, 이것도 꽤 많네요.
그리고 나머지 분들은… 아무도 손을 안 드셨네요?
그 말은 곧,
“차이가 없었을 것 같다”고 생각하신 거겠죠.
하지만 여기서 중요한 건—
결정을 내려야 한다는 것이에요.
여러분이 회의실에서 이런 안건을 보고 있다면,
의견 없이 중립을 유지할 순 없어요.
자, 그럼 정답을 공개할게요.
우리가 새로 만든 커스텀 공유창이
기존 네이티브 공유창보다 공유 수를 40% 더 증가시켰습니다.
자, 여기서 뭘 알 수 있을까요?
우리가 만약 실험 없이 그냥 감으로 결정했더라면,
절반 이상은 틀렸을 거예요.
여기 계신 분들 중 절반 이상이 기존 공유창이 더 나을 거라고 생각하셨죠?
그래서 이런 실험이 중요한 거예요.
데이터 없이 감에만 의존하면,
절반의 확률로 잘못된 결정을 하게 됩니다.
자, 다음 실험으로 넘어가 볼게요.
이번엔 에어비앤비에서
기존 사용자에게 보냈던 이메일 실험이에요.
제가 여행 예약을 하면,
저와 함께 여행하는 **공동 여행자(co-travelers)**에게
에어비앤비가 이메일을 보내요.
기존의 컨트롤 그룹 이메일에는
여행 일정, 숙소 주소,
그리고 아래쪽에
**“Gustav의 여행에 참여하기(Join Gustav’s trip)”**라는 버튼이 있었습니다.
우리는 새로운 버전을 만들어 봤어요.
이 버전은
내용이 훨씬 간단해졌고,
버튼 문구도
**“Gustav의 여행 초대 수락하기(Accept Gustav’s trip invitation)”**로 바뀌었어요.
이 실험의 목표는
이메일 수신자가 버튼을 클릭해서 가입(sign up)하는 것이었어요.
자, 이제 여러분 생각을 들어볼게요.
첫 번째 컨트롤 버전—
**“Join Gustav’s trip”**가 더 많은 가입자를 만들었다고 생각하시는 분?
(손 드세요)
몇 분 계시네요.
그럼 두 번째 실험 버전—
**“Accept Gustav’s trip invitation”**이 더 효과적이었다고 생각하는 분?
좀 더 많은 분이 손 드셨네요.
그럼, 차이가 없었을 거라고 생각하는 분?
몇 분 계시고요.
정답은—
버튼 문구만 바꾼 것만으로도 가입률이 14% 상승했습니다.
그렇죠.
정말 작은 차이인데도 14%나 차이가 났어요.
이런 게 바로
왜 실험이 필요한가에 대한 명확한 예시예요.
자, 하나만 더 해볼게요.
이번 것도 아주 단순한 실험인데,
공유 기능에 대한 실험이에요.
컨트롤 버전은
에어비앤비 숙소 페이지에 나오는 기본 공유 아이콘들이에요.
트위터 아이콘, 페이스북 아이콘, 이메일 아이콘 등이 있죠.
우리는 이걸 두 가지 다른 버전으로 실험해봤어요.
첫 번째는 동그란 버튼들로 구성된 버전이었고,
두 번째는 정사각형 버튼만 보여주는 버전이었어요.
여기서는 이메일, 페이스북만 보여주고
추가 항목은 “더보기(more)” 버튼을 눌러야 볼 수 있었죠.
자, 이 실험의 목표는 공유 횟수를 늘리는 것이었어요.
그럼 여러분 생각은 어떤가요?
첫 번째, 기존의 **기본 아이콘 버전(control)**이
공유를 더 많이 유도했을 것 같다?
(손 드세요)
몇 분 계시네요.
두 번째, **동그란 버튼들(round buttons)**이 더 효과적이었을 것 같다?
(손 드신 분들 확인)
좋아요.
세 번째, **정사각형 버튼들(square buttons)**이 더 효과적이었을 것 같다?
오, 이번엔 손 든 분이 제일 많네요.
잘하고 계세요.
그럼 혹시 차이가 없었을 거다라고 생각하는 분?
음, 아주 소수시네요.
정답은—
두 버전 모두 성과가 더 좋았고,
그중에서도 정사각형 버튼 버전이 가장 큰 성과를 냈습니다.
그리고 이건 우리가 회의실에서 엄청나게 토론하던 주제였어요.
하지만 우리가 실험을 통해 결과를 직접 봤기 때문에—
더 이상 토론할 필요가 없었습니다.
그게 바로 실험의 힘이에요.
제품 관련 결정은 정말 어려워요.
그래서 규모가 커지면,
이런 결정들을 내릴 때는
**무조건 실험(A/B 테스트)**을 통해
검증하는 게 중요해집니다.
그렇지 않으면,
회의실에서 목소리 제일 큰 사람이
결정을 내리게 돼요.
그건 누구도 원하지 않죠.
자, 이제 이 강연 전체를 정리해볼게요.
여러분이 스타트업을 운영하고 있다면—
**그로스(Growth)**를 반드시 생각해야 합니다.
하지만,
그로스를 본격적으로 하기 전에 먼저 해야 할 일은,
사람들이 정말로 제품을 반복해서 사용하는지 확인하는 것이에요.
즉,
리텐션(retention)을 측정하고,
반복 사용 여부를 알아야 해요.
그게 안 되면,
아무리 멋진 그로스 전략도
헛수고가 될 수 있어요.
그래서 여러분은
핵심 지표(metric) 하나를 선택하고,
그 지표의 **목표(goal)**도 함께 정해서,
그걸 실제로 끌어올릴 수 있도록 집중해야 해요.
이건 단순한 방식이지만
정말 강력한 원칙입니다.
그리고 마지막으로,
처음에는 명확한 게 많지만,
어느 순간부터 결정이 어려워지기 시작해요.
그 순간이 오면,
A/B 테스트를 도입하세요.
그때부터는
실험 기반의 의사결정 시스템이 필요해집니다.
처음에는 너무 이르다고 생각될 수도 있지만,
너무 늦게 시작하는 것보다는
조금 일찍 시작하는 편이 훨씬 낫습니다.
감사합니다.
(박수)
좋아요, 질문 몇 개 받을 시간이 있습니다.
네, 저 뒤에 계신 분이요.
Q: SEO에서 실험할 때, 어떤 방식으로 접근하나요?
A: 좋은 질문이에요.
SEO 실험을 할 때 우리가 알고 싶은 건 두 가지예요.
첫째, 우리가 바꾼 내용이 실제로 구글에서 유기적 트래픽을 늘렸는가?
둘째, 검색 순위에 어떤 영향을 미쳤는가?
근데 여기서 어려운 점은,
구글은 항상 순위를 바꾸고 있다는 거예요.
즉, 매일매일 약간씩 변화가 있어요.
그래서 우리가 어떻게 하냐면요—
예를 들어, 에어비앤비의 경우
**수많은 도시 검색 결과 페이지(search results pages)**가 있어요.
예를 들어 스톡홀름, 런던, 샌프란시스코 같은 도시들이겠죠.
우리는 이 도시들 중 절반을 실험 그룹으로,
나머지 절반은 **대조군(control)**으로 설정해요.
그리고 실험 그룹의 페이지만
예를 들어 텍스트 콘텐츠나 메타데이터 같은 걸 바꾸고,
대조군 페이지는 그대로 둡니다.
그러면 얼마 지나지 않아
각 그룹에 구글에서 유입되는 트래픽 양을 비교해볼 수 있어요.
어느 쪽이 더 많이 검색 유입을 받는지가 보이겠죠.
물론 차이가 없을 수도 있어요.
하지만 차이가 난다면,
우리가 변경한 것이 실제로 검색 결과에 영향을 줬다는 걸 의미해요.
예시 하나 더 들어볼게요.
우리가 어떤 도시 페이지의 **타이틀 태그(title tag)**를
기존에는 "Airbnb listings in Barcelona"로 설정해놨다고 해봅시다.
근데 그걸
"Top 20 best places to stay in Barcelona" 같은 식으로 바꾼다면?
더 클릭하고 싶게 만드는 문구로 바꾼 거죠.
이렇게 실험을 하면,
두 그룹 중 어떤 쪽이 더 클릭을 유도하고,
결국 더 많은 트래픽을 유입시키는지를 확인할 수 있어요.
이런 방식으로
구글 검색엔진 자체를 상대로 실험을 하는 것,
그게 바로 SEO 실험입니다.
(배경 음악)
Q: A/B 테스트를 언제 시작해야 하는지 어떻게 판단하나요? 아직 초기 단계인데요.
좋은 질문이에요.
A/B 테스트는 사실 변화의 크기와 관련이 있어요.
즉, 만약 여러분이 굉장히 큰 변화를 시도한다면,
설령 사용자 수가 적더라도
그 차이는 통계적으로 유의미할 수 있습니다.
그러니까 꼭 사용자가 수천 명은 돼야 실험할 수 있는 건 아니에요.
여러분이 해볼 수 있는 방법은,
구글에 “A/B 테스트 계산기”를 검색해보는 거예요.
그러면 어떤 웹사이트가 하나 나올 텐데,
거기서 **현재 지표(metric)**와 **기대하는 변화량(change)**을 입력하면,
실험이 가능한지 여부를 계산해줘요.
예를 들어,
“나는 클릭률을 2%에서 4%로 올리고 싶다”고 입력하면,
“이 정도 차이를 보기 위해선 얼마나 많은 트래픽이 필요하다”고 알려줍니다.
물론,
정말 너무 사용자 수가 적다면
A/B 테스트는 적합하지 않을 수도 있어요.
그럴 때는 오히려
사용자 인터뷰나 직접적인 사용자 관찰 같은
정성적 방법이 더 유용할 수 있죠.
하지만 만약 여러분이
두세 주 안에 결과를 볼 수 있을 정도의 트래픽이 있다면,
A/B 테스트를 시작해볼 수 있는 시점입니다.
예를 들어,
하루에 몇 천 명 단위의 방문자나 사용자 이벤트가 있다면,
작은 변화라도 실험을 통해 효과를 검증할 수 있어요.
저는 개인적으로 이렇게 말하고 싶어요:
A/B 테스트를 약간 이르게 시작하는 편이,
너무 늦게 시작하는 것보다 훨씬 낫다.
이미 A/B 테스트를 내재화한 회사는
나중에 훨씬 더 빠르고 자신 있게 의사결정을 할 수 있어요.
Q: 헬스 인슈어런스(건강 보험)처럼 진입 장벽이 높은 시장에서는 그로스를 어떻게 적용하나요?
정말 좋은 질문이에요.
이 질문에서 두 가지를 분리해서 생각해야 해요.
하나는 해당 시장 자체의 특성,
그리고 다른 하나는 그 시장 안에서 우리의 그로스 전략을 어떻게 가속화할 것인가예요.
예를 들어,
진입 장벽이 높다는 건
사용자에게 도달하는 데 더 많은 노력이 필요하다는 뜻일 수 있어요.
즉, 단순히 페이스북 광고 한두 번으로는 안 될 수도 있는 거죠.
대신 훨씬 더 많은 사용자에게
적절한 방식으로 도달해야만 해요.
(질문자가 다시 설명 중 – “바이어에게 접근이 어렵다는 얘기였어요.”)
아, 네. 이해했어요.
즉, 여러분이 다루는 바이어가
예를 들어 보험 시장 바이어들이고,
그들이 쉽게 접근되지 않는 존재들이라는 거죠?
자, 그럼 여기서 중요한 포인트는—
규제나 법적 리스크가 있다고 해도,
그로스의 본질은 달라지지 않는다는 겁니다.
만약 여러분이 세일즈 중심의 그로스를 하고 있다면,
그 안에서도 충분히 자동화와 기술적 도구를 활용할 수 있어요.
예를 들어볼게요.
내가 보험을 담당하는 스타트업 바이어들에게
건강보험 솔루션을 팔고 싶다면,
처음엔 이메일 10개를 직접 보내는 것부터 시작하겠죠.
그다음에는
비슷한 이메일을 100명, 1,000명에게 자동화 도구로 보낼 수 있어요.
그 이메일이 여전히 개인적이고 정중하게 느껴지도록 구성된다면,
그건 매우 강력한 그로스 전략이 될 수 있어요.
요점은 이거예요:
그로스는 여러분이 가진 법적 위험이나
시장 진입 장벽을 해결해주진 않아요.
그건 별도의 문제예요.
에어비앤비도
여러 시장에서 수많은 법적 문제를 겪었지만,
그건 그로스 팀이 다룬 이슈는 아니었어요.
그건 리걸 팀이 해결해야 할 문제고,
그로스는 단순히
더 많은 사용자에게 더 빠르게 다가가기 위한 도구입니다.
그래서 두 가지는 분리해서 봐야 해요.
(음악)
Q: Uber처럼 ‘지속 불가능한 방식(non-sustainable tactics)’으로 새로운 시장에 진입할 때, 그로스를 어떻게 바라봐야 하나요?
좋은 질문이에요.
여러분이 지금 “스케일되지 않는 방식(things that don’t scale)”으로
그로스를 하고 있다면, 선택지는 두 가지예요.
- 그건 진짜로 스케일이 안 되니까, 결국엔 그만둬야 해요.
- 아니면, 그 전략을 기반으로 플레이북을 만들어,
다른 도시나 시장에도 적용해볼 수 있죠.
근데 언젠가는 확실히
**ROI(투자 수익률)**이 떨어지기 시작해요.
예를 들어볼게요.
초기에 Uber가 드라이버를 한 명씩 수작업으로 모집했다고 해봅시다.
처음 20명 정도까진 그게 효과가 있었겠죠.
하지만 점점 규모가 커지면,
그런 방식은 수익률이 낮아지고 비효율적이 돼요.
이제는 아마 페이스북 광고를 써서
운전자를 모집하는 게 훨씬 더 효과적일 거예요.
그래서 결국에는
이렇게 생각해야 해요:
“지금 내가 수작업으로 하고 있는 이 방식이
ROI가 충분히 높은가?”
그리고 만약 다른 채널보다 ROI가 떨어진다면,
그때는 새로운 채널로 전환할 시점입니다.
대부분의 회사는
이런 과정을 반드시 거치게 돼요.
예를 들어,
초기에는 블로그 콘텐츠를 일일이 수작업으로 쓰다가,
나중에는
SEO를 고려해서 콘텐츠 구조를 자동화하거나,
엔지니어링 기반으로 검색 유입을 늘리는 방식으로 전환하게 되는 거죠.
(질문 추가: 그럼 ‘라이드 보조금’ 같은 인센티브는 어때요? 지속 가능하다고 보세요?)
좋은 질문이에요.
저는 인센티브 자체는 굉장히 스케일 가능한 방식이라고 생각해요.
예를 들어, 에어비앤비에서는
아직도 추천 프로그램이 작동 중이에요.
하루에도 수십만 명의 신규 사용자가 추천을 통해 가입하고 있죠.
즉, 그건 분명히 스케일 가능한 전략이에요.
즉, 핵심은 이거예요:
인센티브 전략이 비효율적인 게 아니라,
그 인센티브를 어떻게 배포하느냐가 중요하다는 겁니다.
예를 들어,
제가 여러분 손에 쿠폰을 한 장 한 장 직접 나눠준다?
그건 절대 스케일되지 않아요.
하지만 그걸
이메일 시스템, WhatsApp, 메신저 같은 자동화된 채널을 통해 배포한다면,
그건 충분히 확장 가능한 전략입니다.
단, 여기서 반드시 체크해야 하는 건—
“내가 뿌리고 있는 이 인센티브가 손해를 초래하지 않는가?”예요.
즉, 돈을 뿌리긴 뿌리는데,
그로 인해 발생하는 신규 고객이
실제로 회사에 이득을 주는지,
그리고 이들이 없었다면 원래는 절대 제품을 쓰지 않았을 사용자들인지,
이걸 꼭 계산해봐야 해요.
이게 인센티브 전략의 ROI(투자수익률) 계산 방식이에요.
만약 이게 잘 돌아가고 있다면,
그건 절대 “비지속적인 전략”이 아니에요.
오히려 아주 효과적이고 반복 가능한 성장 전략이 될 수 있습니다.
좋아요, 이제 거의 마무리할 시간이네요.
마지막 질문 하나만 더 받겠습니다.
저기 오른쪽 뒤에 계신 분, 말씀해주세요.
(음악)
Q: 우리는 유저 그룹이 두 개예요. 하나는 무료 사용자, 다른 하나는 유료 사용자.
근데 무료 사용자 중 일부는 정말 활발하지만, 유료 사용자 중 일부는 거의 활동이 없어요.
이럴 땐 어떻게 그로스를 적용해야 할까요?
좋은 질문이에요.
이 경우, 우리가 먼저 분석해봐야 할 건—
유료 사용자의 리텐션입니다.
즉, 유료 사용자들이 어떤 행동을 하고 있는지 보는 거예요.
예를 들어,
유료 사용자들이 어떤 행동을 하고 있는지 파악하고,
그들이 사용하는 기능과 사용 빈도를 살펴보는 거예요.
그다음엔,
무료 사용자들의 리텐션도 확인해보세요.
그리고 이 두 그룹 간에 어떤 차이가 있는지를 비교하는 거죠.
특히 중요한 건,
무료 사용자들이 유료로 전환한 뒤,
행동 패턴이 어떻게 변하는가를 보는 거예요.
이게 변하지 않는다면—
즉, 유료로 전환했지만 여전히 사용을 안 한다면—
그건 더 근본적인 문제일 수 있어요.
이럴 때 우리가 확인해봐야 할 또 다른 지표는
**전환율(conversion rate)**입니다.
즉, 무료에서 유료로 넘어가는 비율이죠.
이 전환율을 높이기 위해
무료 체험(free trial) 모델을 적용할 수도 있고,
혹은 **프리미엄 모델(freemium)**을 활용할 수도 있어요.
예를 들어,
무료 사용자는 아주 제한된 기능만 쓸 수 있고,
더 많은 기능을 쓰려면 유료로 전환하게끔 만드는 거죠.
어떤 모델이든 관계없이,
가장 중요한 건 이거예요:
유료 사용자들이 실제로 제품을 제대로 사용하고 있는가?
그게 아니라면,
결국 이건 단순한 가격 정책의 문제가 아니라
제품 자체의 가치 전달 방식에 문제가 있다는 신호일 수 있어요.
그러니까 다시 핵심으로 돌아가야 해요—
리텐션 분석, 그리고
어떤 사용자들이 진짜로 제품을 지속적으로 쓰고 있는지를 파악하는 것.
그래야만,
진짜로 어떤 그룹을 중심으로 그로스를 추진할지
올바른 방향을 잡을 수 있습니다.
마지막 질문 받을게요.
네, 저 뒤에 계신 분 말씀해주세요.
(음악)
질문은, 실험(Experimentation)을 실제로 실행하는 게 정말 어려울 때가 있는데요. 이런 실험을 어느 정도 빈도로, 어떤 방식으로 해야 하는지 궁금합니다.
마켓플레이스 같은 경우엔 실험이 진짜 어렵잖아요?
맞아요. 그런 경우엔 단순히 온라인 도구를 세팅하거나, Mixpanel 같은 걸로 A/B 테스트를 돌리는 것보다 훨씬 어려워요.
기본적인 제품 퍼널(product funnel)이 있다면 실험 세팅은 그리 어렵지 않아요. 개발자가 한 명 있고, 트래픽이 어느 정도 있다면 말이죠. 큰 문제는 아니에요.
하지만 제품의 성격에 따라 실험이 훨씬 어려워질 수 있어요.
만약 여러분이 어느 정도 트래픽이 있는 단계라면, 제 생각엔 선택의 여지가 없어요. 데이터를 기반으로 의사결정을 하기 위한 최소한의 인프라는 반드시 갖춰야 해요.
그걸 안 하면, 결과적으로 수많은 잘못된 결정을 내리게 돼요. 그 결정들이 우연히 맞을 수도 있지만, 대부분은 그렇지 않거든요.
그래서 실험을 하지 않으면 안 돼요.
모바일 앱을 운영 중이라면 실험은 비교적 쉬운 편이에요. 실험을 도와주는 툴들도 많고요.
만약 실험 아이디어가 고갈됐다면? 그땐 다시 사용자 리서치로 돌아가야 해요. 그리고 Pinterest, Airbnb, Facebook 같은 서비스를 살펴보세요. 이런 서비스들은 대부분 그들의 퍼널이 A/B 테스트를 통해 최적화된 구조일 거예요.
그래서 이런 것들을 참고하는 게 좋아요.
결론적으로는, 실험을 안 하면 더 큰 문제가 생깁니다.
그리고 실험의 빈도에 관해서는, 실험을 세팅하는 데 드는 비용은 가능한 한 줄여야 해요.
그렇기 때문에 가장 작고 단순한 실험부터 시작하세요. 예를 들어, 큰 기능을 테스트하고 싶다면, 그 기능 전체를 테스트하지 말고 ‘첫 단계’만 실험해보세요. 사람들이 그 첫 부분에 어떻게 반응하는지 보는 거죠.
이 얘기는 정말 끝도 없이 할 수 있지만… 오늘은 여기까지 할게요. 감사합니다. 👏