부분적으로는 비즈니스 성장의 동인을 식별하는 방법에 대한 이전 기사에 대한 후속 조치로, 이제 더 깊이 들어가 성장 이니셔티브의 영향을 측정할 수 있는 방법을 살펴보고자 합니다. 저는 제품 업데이트, PR, 마케팅 캠페인과 같은 조치가 고객 성장, 유지 지표 및 참여에 미치는 영향을 평가하기 위한 몇 가지 도구를 제공할 것입니다. 이것은 내가 통계학자로서 이전에 일한 내용을 반영하여 기업이 거래된 증권의 반응을 통해 내부 및 외부 이벤트의 평가에 미치는 영향을 평가하도록 돕습니다.
저는 헤지 펀드와 월스트리트 세계에서 더 흔한 통계적 영향 도구가 현재 적용되는 방식보다 성장 관리를 위해 기술 회사에 훨씬 더 유용할 수 있다고 믿습니다. 사용자 또는 고객 행동에 대한 다양한 고주파 정보를 제공하는 기술로 인해 숙련된 통계 또는 데이터 분석가는 상업 팀 내에서 실질적인 자산이 될 수 있습니다.
밸류에이션에 대한 통계적 영향을 측정하는 예로 상장 기업이 신제품을 발표하고 그것이 밸류에이션에 어느 정도 영향을 미쳤는지 알고 싶어한다고 가정해 봅시다. 실제 영향을 추정하려면 다음을 고려해야 합니다.
사기업의 경우 주가 활동의 귀결 역할을 하는 장단기 활성 사용자 또는 클라이언트의 변화에 대해 동일한 분석을 수행할 수 있습니다. 이는 유지 및 참여 깊이 측정항목에도 적용됩니다.
이 둥근 형태의 분석을 설정하면 기업이 시장이나 사용자 반응처럼 보이는 것에 현혹되지 않고 훨씬 더 강력한 정보 신호를 기반으로 제한된 리소스를 사용할 수 있습니다. 실제로는 무작위 변동에 불과합니다. 신호와 노이즈를 분리하는 통계 모델을 설정하기 위한 초기 작업은 회사의 성장 노력에 가져오는 통찰력을 통해 엄청난 이익을 얻을 수 있습니다. 또한 새로운 데이터가 수신될 때 쉽게(그리고 종종 자동으로) 업데이트되고 개선될 수 있는 반복적인 프로세스입니다.
회사의 모든 측정 노력은 다음 성장 차원 중 하나 이상을 목표로 해야 합니다.
세 가지 차원은 모두 정량화할 수 있으며, 회사는 그 가치를 이 세 점으로 이루어진 삼각형의 면적으로 개념화할 수 있습니다. 하나가 무너지면 다른 둘의 가치 잠재력은 심각하게 제한됩니다. 나는 "당신을 사랑하는 소수의 사용자가 당신을 좋아하는 많은 사용자보다 낫다"는 많은 설립자 및 투자자의 의견에 확실히 동의하지만, 이것이 강력한 참여 및 유지와 함께 매출 성장의 중요성과 모순된다고 생각하지 않습니다. 궤적은 레벨보다 훨씬 더 중요하며, 진정으로 헌신적인 소규모 사용자 그룹으로 시작하는 것이 장기적 성장을 위한 초기 조건을 가장 잘 설정합니다.
회사의 주요 임무는 세 가지 주요 지표 중 하나 이상에 대한 조치의 실제 효과를 측정할 수 있는 분석 프레임워크를 수립하는 것입니다. 회사는 각각에 대해 서로 다른 모델을 테스트하거나 연립 방정식과 같은 도구를 사용하여 보다 직접적으로 연결할 수 있습니다. 내 경험에 따르면 마케팅 및 PR 노력은 회사가 투자 수익을 얻고 있는지 여부에 대한 엄격한 분석이 부족하여 특히 어려움을 겪는 경향이 있습니다. 총 조회수, 클릭수, 공유 수와 같은 특정 측정항목은 거의 항상 기록되지만 이는 모두 목적을 위한 수단이며 고객 전환 및 참여에 미치는 영향에 대한 다음 질문에 대한 진지한 분석은 거의 이루어지지 않습니다.
일회성 이벤트의 단순화된 버전으로 시작합니다. 회사가 Day 0에 신제품 업데이트를 출시하거나 큰 PR 스토리를 게시하고 이것이 성장에 미치는 영향 측면에서 올바른 방향으로의 움직임을 나타내는지 알고 싶어한다고 가정해 보겠습니다. 회사가 유사한 노력을 계속해야 한다는 실제 신호를 받았는지 여부를 결정하려면 해당 이벤트가 없었을 때 얼마나 증가했을지와 얼마나 증가했을지 알아야 합니다.
벤치마크 성장은 외부 및 내부 변수를 기반으로 회사의 성장, 유지 또는 참여를 예측하는 회귀 모델을 통해 추정할 수 있습니다. 어떤 경우에는 제품 업데이트의 영향을 받는 사용자를 격리하는 기능을 통해 통제 그룹과의 직접적인 A/B 테스트가 가능합니다. 그러나 모든 현재 및 잠재 사용자에게 어느 정도 균일하게 영향을 미치는 대규모 제품, PR 및 비즈니스 활동의 경우에는 그렇지 않습니다. 이러한 테스트에 사용할 수 있는 몇 가지 우수한 리소스가 있지만 많은 초기 단계 회사에서는 비용이 많이 든다고 생각할 수 있습니다.
이 모델에 대해 고려할 수 있는 변수는 다음과 같습니다.
| 부문 동향 |
|
|---|---|
| 타겟 고객 동향 |
|
| S&P 500 및 추가 섹터 관련 하위 지수 |
|
| 이자율 및 환율과 같은 거시적 변수 |
|
| 추천률과 같은 내부 요인 |
|
| 계절성/주기성 |
|
모든 변수는 백분율이 아닌 로그를 사용하여 절대 수준이 아닌 변화율로 지정해야 합니다.
마찬가지로 각 변수에 대한 시간 프레임을 신중하게 고려해야 합니다. 일부 변수는 앞서고 있습니다(예:주식 시장은 기대에 크게 의존함). 반면 사용자 만족도 평가와 같은 다른 변수는 과거 경험을 기반으로 하지만 확실히 예상되는 성장과 관련이 있을 수 있습니다.
회귀 자체의 경우 OLS(Ordinary Least Squares)로 시작한 다음 특정 이유로 다른 함수 형식으로만 이동하는 것이 좋습니다. OLS는 다재다능하며 마찬가지로 다른 복잡한 형식보다 결과를 보다 직접적으로 해석할 수 있습니다. OLS의 맥락에서 수정에는 비선형 변수에 대한 대수 회귀, 상호 작용 변수(예:현재 고객 만족도 및 소셜 미디어 활동), 더 큰 값에서 불균형한 효과가 있다고 생각하는 제곱 변수가 포함됩니다. 성장이 기하급수적이기 때문에 대수 회귀가 확실히 적합함을 증명할 수 있습니다.
작업의 영향 시간 범위와 관련하여 사용자의 작업 또는 구매 빈도를 고려하여 영향을 확인할 적절한 간격을 결정하는 데 도움이 됩니다. 하루보다 긴 기간을 사용할 때 주간 활성 사용자는 해당 주의 일일 활성 사용자의 합계가 아님을 기억하십시오. 내가 그 주에 매일 귀하의 제품을 적극적으로 사용한다면 매일 분석을 위해 매일 계산될 것입니다. 그런 다음 주간 분석으로 변경하면 한 번만 나타나야 하므로 개별 날짜를 합산하면 초과 계산됩니다.
그런 다음 이 모델을 사용하면 이러한 설명 변수의 성능을 기반으로 주어진 순간 또는 지속적인 기간 동안 예상되는 성장/유지/참여를 추정할 수 있습니다. 이 예상 성장과 이벤트 이후 관찰된 실제 성장 간의 차이는 영향을 나타낼 수 있는 비정상적인 부분입니다. 이 비정상적인 성장을 예상 성장의 표준 편차로 나누면 비정상적인 구성 요소가 우연히 발생할 가능성이 얼마나 되는지 나타냅니다. 일반적으로 결과가 1.96(예측값에서 약 2 표준편차 떨어져 있음)이 우연히 발생하지 않은 것으로 간주하기 위한 컷오프로 사용됩니다.
코호트의 맥락에서 유지 및 참여는 연속적인 코호트 전반에 걸친 변화(즉, 각 코호트에 대해 고정된 값 유지) 측면에서 고려되거나, 코호트.
성장 전략은 종종 일회성 노력보다 일련의 이벤트를 전개하는 것을 강조합니다. 이는 여러 노력을 통해 보다 즉각적인 영향을 미치고 고객에게 패턴 자체를 보여주는 근본적인 영향을 주기 위함입니다. 따라서 영향 분석은 누적 영향도 볼 수 있습니다. 개별적으로 중요하지 않은 일련의 이벤트는 상당한 누적 영향을 초래할 수 있으며, 역으로 일련의 중요한 이벤트는 무의미하게 될 수 있습니다.
첫 번째 상황은 "천천히 그리고 꾸준함이 경주에서 이긴다"고 생각할 수 있습니다. 귀하의 매출이 귀하의 관련 부문보다 주당 몇 퍼센트 더 빠르게 증가한다고 가정해 보겠습니다. 주어진 회사의 성장이 우연히 벤치마크와 약간 다를 것이기 때문에 단기간에 이것은 아무 의미가 없습니다. 그러나 약간의 초과 성과가 충분히 오래 지속되면 결국 회사의 성장률이 시장을 초과한다고 자신 있게 말할 수 있습니다.
두 번째 상황은 본질적으로 모든 종류의 반전입니다. 사람들이 정보를 진정으로 처리하기 전에 개발에 반응할 수 있는 점점 더 높은 빈도의 수단과 단기적인 집단 사고 방식은 보다 즉각적인 소음을 통해 반응의 실제 규모와 지속 시간을 고려하도록 보장해야 하는 과제를 안겨줍니다. 특정 상황에서 사용자와 시장은 단기적으로(새로운 기술, 통화 시장, 종종 회사에 심각한 위협이 되지 않는 나쁜 소식) 체계적으로 과민 반응하다가 나중에 스스로를 수정하는 경향이 있습니다.
두 가지 상황을 다음과 같이 설명할 수 있습니다. 신뢰 구간은 관측치의 95%가 떨어질 것으로 예상할 수 있는 범위를 나타내며 일반적으로 통계적으로 유의미한 것으로 간주하기 위한 임계값으로 사용됩니다.
중요한 반전이 없으면 지속적인 영향의 증거로 간주될 수 있습니다. 증거의 부재가 부재의 증거가 아니라 우리가 할 수 있는 최선이라는 경험적 회의론의 일반적인 규칙에 위배되는 논리이므로 주의해야 합니다.
개별 기간에 대한 백분율/대수 변화를 비교할 때는 주의하십시오. 99% 감소 후 99% 증가는 미미한 누적 변화로 정확히 계산되지 않습니다. 결국 누적 변화를 고려하십시오.
제한된 기간(예:휴가철) 내에 특정 PR 캠페인과 같은 일련의 이벤트의 누적 영향을 측정하는 경우 해당 기간에 포함된 모든 달력 일 또는 주 동안의 성장을 추적할 수 있습니다. , 각자가 특정 조치를 취했는지 여부. 당신은 여전히 본질적으로 1-2-3 펀치가 히트 사이에 약간의 지연이 있을 수 있더라도 특정 기간 내에 녹아웃을 산출하기를 바라고 있습니다.
문제의 이벤트가 더 멀리 떨어져 있지만 여전히 누적 영향을 평가하려는 경우 연속적인 단일 시리즈에 이벤트를 결합한 다음 동일한 분석을 실행하는 것을 고려할 수 있습니다. 이것은 본질적으로 "1일차는 1월 5일, 2일은 3월 15일, 3일은 4월 10일..."이라고 말하고 실제로는 완전히 순차적인 날짜인 것처럼 벤치마크에서 예측한 것과 비교하여 누적 변화를 테스트합니다. 유의성 테스트는 누적 기간을 구성하는 일/주의 제곱근으로 표준 편차를 높이는 것을 제외하고는 단일 이벤트와 동일한 공식입니다.
세상은 우리의 아이디어를 테스트할 수 있는 완벽한 실험실 조건을 제공하는 경우가 거의 없으므로 핵심 모델이 설정되면 예상 성장률에 영향을 미치는 다른 정보를 제어할 필요가 있을 것입니다. 측정하려고 합니다.
PR 이벤트나 제품 업데이트와 동시에 최고 경영자가 불행히도 언론의 많은 환호 속에서 경쟁사를 떠나기로 결정하고 일부 사용자가 이것을 상대적 장점의 신호로 받아들일까봐 걱정한다고 가정해 보겠습니다. 두 제품. 불행히도 한 가지 매우 빠른 해결책은 지표 변수를 사용하여 데이터 포인트를 혼동된 관련 없는 이벤트로 표시하는 것입니다.
그러나 "교란" 이벤트의 이전 인스턴스에 대한 데이터를 얻을 수 있다면 특정 이벤트가 유사한 상황에서 얼마나 많은 영향을 미치는 경향이 있는지 예측할 수 있는 횡단면 분석을 수행할 수 있습니다. 최종 결과에서 예상되는 영향입니다. 위의 예에서 다른 회사의 유명 팀원 이탈을 둘러싼 사용자 활동에 대한 데이터를 사용하면 원하는 PR 이벤트 또는 제품 업데이트의 영향을 분리하기 위해 해당 특정 요인의 영향을 추정하고 분리할 수 있습니다. 평가합니다.
많은 회사는 또한 연중 또는 휴일과 같은 특정 중요한 순간에 따라 계절성에 직면할 수 있습니다. 이를 제어하기 위해 해당 연도에 지표 변수를 할당합니다.
성장 노력을 위한 분석 및 전략의 결과를 고려할 때 사람들이 긍정적인 발전에 반응하는 방식에 대한 특정 비선형 효과를 염두에 둘 가치가 있습니다.
업 감도 대 다운 감도는 매우 다를 수 있습니다. 데이터와 시간이 허락하는 한 긍정적인 사건과 부정적인 사건이 모두 귀하와 관련이 있는 경우 예상되는 효과를 추정하는 것을 고려하십시오. 불행히도 사용자 행동에서 금융 시장에 이르기까지 많은 경우 하향 움직임은 상향 움직임보다 훨씬 더 급격하고 심각할 수 있습니다.
한 번에 여러 작업을 수행하는 결합된 효과는 연속적으로 수행하는 것과 같지 않을 수 있습니다. 진행 중인 패턴의 사실 자체가 긍정적이거나 부정적인 영향을 미칠 수 있기 때문입니다. 매월 제품 업데이트를 발표하는 회사의 패턴은 사용자에게 신뢰를 줄 수 있으며 정리해고 또는 감면과 같은 부정적인 이벤트를 두 번 이상 발표하면 회사가 자체적으로 완전히 이해하지 못하는 걱정을 일으키며 불균형한 영향을 미칠 수 있습니다. 상황. 상장 기업은 종종 "목욕을 하고" 모든 나쁜 소식을 한 번에 발표합니다. 나쁜 소식 자체로 인해 초기에 "고정"된 타격이 있고 뒤따르는 영향이 미미할 수 있기 때문입니다. 예를 들어, "어뢰 효과"는 나쁜 소식이 있다는 것만으로도 가격 하락의 의미 있는 부분을 설명할 수 있다는 경험적 현상을 설명합니다. 따라서 부정적인 하락은 뉴스 또는 개발의 실제 내용에서 한계 효과를 줄이는 데 자리를 주는 초기 고정 효과로 나눌 수 있습니다. PR 캠페인은 시간이 지남에 따라 회사를 포지셔닝하는 것이 목표이므로 하나의 단일 대형 이벤트보다 연속적으로 진행하는 것이 좋습니다.
분산은 물론 역사적으로만 측정할 수 있지만 특정 이벤트는 기본 실제 분산과 비정상적인 성장이 우연히 발생했을 확률을 변경할 수 있습니다. 새로운 분산은 그 자체가 문제의 이벤트의 결과이기 때문에, 그것과 함께 오는 더 큰 분산을 기반으로 이벤트의 중요성을 무시하는 순환 추론을 피하기 위해 이전 분산을 사용해야 합니다. 그러나 항상 그렇듯이 논쟁이 있고 각 상황이 다를 수 있습니다.
앞서 언급했듯이 성장 또는 성장 둔화는 인간 심리와 매우 실제적인 시장 구조로 인해 한동안 유사한 효과를 낳을 수 있습니다. 모멘텀 효과를 측정하는 데 사용할 수 있는 다양한 멋진 자기상관 테스트가 있지만, 느린 버전 자체에서 성장 계열을 회귀하는 "수동" 접근 방식이 더 투명하고 실험하기 더 쉽다는 것을 알았습니다.
이러한 테스트를 허용하는 모델이 개발되면 사용자 행동, 판매 등을 추적하는 회사 플랫폼을 코드에 직접 연결하여 새로운 데이터가 수신될 때 계수를 지속적으로 업데이트하지 못할 이유가 없습니다. 내 개인적인 선호는 데이터 세트의 크기와 최신 정보의 더 높은 값 사이의 균형을 유지하고 자연적으로 계절성의 경우 연중 모든 시간을 포함한다는 점에서 가능한 한 롤링 1년 추정 기간을 갖는 것이었습니다.
사업과 제품의 성격상 구조적 결함이 없다고 가정하면 1년 이상 추정 기간을 연장하지 않을 이유가 없지만, 빠르게 성장하는 젊은 기업은 빠르게 진화하는 경향이 있다. 소프트웨어 기반 회사는 GitHub에 직접 연결하여 소프트웨어 업데이트가 자동으로 영향을 테스트하는 프로세스를 만들 수 있습니다. 이 직접 링크를 만들고 기능이 자동으로 발전하도록 함으로써 회사를 위한 기계 학습 배포를 위한 첫 번째 단계를 밟은 것입니다.
정보가 세계에서 가장 가치 있는 상품이라는 점은 자주 지적되지만 데이터가 정보가 아니라는 점은 자주 언급되지 않습니다. 반대로, 회사는 경쟁적인 이야기를 말하는 것처럼 보일 수 있는 너무 많은 데이터에 압도되며, 그 중 다수는 무작위성에 기반한 가짜 패턴일 수 있습니다. 최고의 통계는 핵심 변수와 관계를 빠르게 연마하고 실제 테스트를 위해 배포하는 축소 프로세스입니다. 무엇보다도 이러한 형태의 분석 정신은 데이터를 기반으로 결정을 내리기 전에 데이터가 실제 정보임을 강제로 증명함으로써 의사 결정 과정에 건전한 회의론을 불어넣는 것입니다.