【增量測試入門:用 geo experiment 驗證渠道有沒有效】
平台歸因說渠道「有功勞」,不代表關掉後業績會掉。本文介紹 geo experiment 增量測試:三種干預何時用、預測試要準備什麼、怎樣分區與判讀,以及香港台灣等小市場怎樣改設計;附開會用檢查表。
平台歸因報表常顯示某渠道「有功勞」,但關掉該渠道後,業績是否真會下降,歸因本身答不了。增量測試(incrementality test)用對照組估計因果效應;地理實驗(geo experiment)則按地區開關投放,在不依賴 cookie 的前提下量度渠道增量。
Google 開源的 Meridian GeoX 把設計、分析與行銷組合模型(Marketing Mix Modeling,MMM)校正串成同一流程,並支援 Holdback、Go-dark、Heavy-up 等干預類型。本文從中小企老闆、行銷主管與電商從業者的角度,整理歸因與增量的分別、三種干預何時用、預測試資料要求、分區與最小可偵測效果(minimum detectable effect,MDE),以及香港、台灣這類地理單位較少的市場怎樣改設計。文末附一張可直接開會填寫的設計檢查表。
量度對帳未做穩,增量測試只會把錯誤 KPI 放大成「有/沒有效」的假結論。渠道花費與業績口徑先對齊,再談實驗。
本文的功能描述以 Google Meridian GeoX 開發者說明與 Google Research 公開摘要為準,全部於 2026 年 10 月 10 日查閱。文中未標示來源的數字均為示範數據,未經實測,不代表任何品牌。
| 設計欄位 | 要寫清什麼 | 示範填法(示範數據) |
|---|---|---|
| 商業問題 | 要證明或否證的一句話 | 品牌搜尋關掉後,訂單會否明顯下降 |
| 干預類型 | Holdback/Go-dark/Heavy-up(見下節) | Go-dark |
| 實驗設計 | 單細胞(推薦)或多細胞 | 單細胞:處理組 vs 對照組 |
| 地理單位 | 縣市、郵遞區、DMA 等可投放可量度的單位 | 示範:18 個縣市可穩定投放 |
| 預測試長度 | 至少 3× 測試天數的每日 KPI(官方下限) | 測試 28 天 → 預測試 ≥84 天 |
| 主 KPI | 絕對量(成交筆數或營收),不用比率 | 後台成交筆數(未做歸因過濾) |
| 決策門檻 | 怎樣算「有效」:例如相對增量下限 | 示範:相對增量 ≥15% 才續投 |
| 失敗定義 | 空結果與「渠道無效」怎樣分開說 | 偵測不到 ≠ 已證偽;寫明功率不足時的下一步 |
歸因與增量差在哪?
歸因把轉換功勞分給路徑上的接觸點;增量則估計關掉或加大投放後,業績實際會變多少。
Google Analytics 4(GA4)的歸因模式回答「功勞怎麼分」;geo experiment 回答「這渠道對業績有沒有因果貢獻」。兩者口徑不同,不能互相替代。平台歸因可能把本來會自然成交的訂單也算進廣告;增量測試用對照組估計,若沒有投放,對照地區的業績路徑會長怎樣。
本文判斷:預算會議若只看平台最後點擊或數據驅動歸因,容易高估品牌字與再行銷。要決定「能不能砍/該不該加」,需要增量證據,或至少把歸因數字與對帳後的後台業績並排。
相關閱讀:2026 GA4 歸因模式怎麼選、量度對帳:定義與算法。
Holdback、Go-dark、Heavy-up 何時用?
Holdback 給新策略加投放、對照組維持零投放;Go-dark 關掉既有投放;Heavy-up 在既有投放上加碼。
根據 Meridian GeoX「Types of experiments」頁(2026-10-10 查閱):
| 干預類型 | 處理組 | 對照組 | 較適合何時用 |
|---|---|---|---|
| Holdback | 新渠道/新活動開始投放 | 維持零投放(held back) | 首次驗證新渠道或新格式是否值得放大 |
| Go-dark | 既有投放完全關閉 | 維持日常投放(BAU) | 辯護既有預算:關掉會損失多少基線價值 |
| Heavy-up | 在既有投放上增加預算(例如 +X%) | 維持日常投放 | 估計加碼的邊際回報;或現有花費太低,Go-dark 訊號不足時 |
單細胞設計只比較一組處理與一組對照,官方建議用於標準增量測試,因為統計功率集中在單一對比,通常需要較少地理單位與較低預算才能達到較低的 MDE。多細胞可同時比較多種干預,但需要更多地理單位與預算,否則 MDE 會變高、靈敏度下降。
預測試資料要準備什麼?
預測試至少要有測試天數三倍的每日、分地區 KPI;主指標須為絕對量,且用未歸因過濾的原始序列。
Meridian GeoX「Prepare your pretest data」頁寫明:
- 每日時間序列:不要按週彙總;函式庫不支援週資料。
- 長度下限:回應資料至少
3 × N天,N為實際測試天數。季節性強時,官方建議準備更長歷史(例如一年或以上)。 - 主 KPI:用營收或轉換筆數等絕對量;比率指標(例如 ROAS)不受支援。應使用原始、未過濾的轉換序列,避免歸因邏輯扭曲因果增量。
- 非負值:不要用可能為負的淨營收;若退款重大,可先用毛額設計與分析,再套歷史淨毛比。
- Spend:Go-dark 與 Heavy-up 需要分地區每日花費;Holdback 通常不強制。
- 一次一個主 KPI:設計引擎一次只優化一個主指標;次要 KPI 可在事後另跑分析,但不保證功率。
示範情境:若測試訂為 28 天,預測試至少 84 天的縣市級每日成交筆數;若同時做 Go-dark,還要同一粒度的媒體花費。
怎樣分區與估最小可偵測效果?
先用分層抽樣讓處理組與對照組在預測試期更可比,再以 MDE 與預算成本篩出可執行設計。
根據「Design methodology」頁,Meridian GeoX 以分層抽樣產生候選設計:按回應量、趨勢與季節性等特徵分層(特徵可含平均、變異程度(CV)、斜率、一階自相關、動態時間扭曲),預設以 k-means 分成四層,再在層內隨機分到處理或對照。地理單位很少時,也可改用純隨機分組,但文件寫明一般不優先於分層。
設計搜尋會用樣本外擬合、A/A 穩健性、相對增量的 MDE,以及達到功率目標所需預算來篩選。MDE(相對增量)公式在文件中寫為:最小可偵測增量轉換 ÷ 對照組基線轉換,並與標準誤、顯著水準與目標功率有關。
開會時至少寫下:
- 目標相對 MDE(示範:15%)
- 顯著水準與功率假設(交由分析負責人對照函式庫預設)
- 可接受的對照組營收佔比上限(示範:不超過全網 10%)
- 必須排除的地區(例如最大城市不能關投放)
空結果要預先定義:偵測不到效應,可能是渠道增量低於 MDE,也可能是功率不足;兩者對預算的下一步不同。
判讀結果時常見哪些錯誤?
最常見的錯誤是用歸因轉換當 KPI、把空結果說成「渠道無效」,以及測試期跨重大促銷卻未排除。
常見錯誤與對應做法(本文建議):
- KPI 用平台歸因轉換:官方要求原始、未歸因過濾的序列。改用後台成交或毛營收。
- 跨區外溢:鄰近地區仍看得到廣告或物流互相影響。設計時排除高外溢單位,或拉長 cooldown。
- 把空結果當否證:功率不足時寫「未能在目標 MDE 下偵測到效應」,並規劃加長測試、加深 KPI 或加大處理組。
- 預測試太短或按週彙總:違反
3×N與每日資料要求,反事實模型易偏。 - 多細胞在地理單位不足時硬上:官方提醒多細胞需要更多地區與預算,否則 MDE 變差。
- 決策門檻事後才訂:先寫「≥X% 續投/否則縮編」,避免結果出來才改規則。
分析階段,GeoX 以反事實模型(例如時間迴歸 TBR)估計增量,並可輸出增量與區間;結果若通過品質檢查,也可作為 Meridian MMM 的先驗校正輸入(見 Intro to GeoX 旅程步驟)。
香港與台灣這類小市場怎樣改設計?
地理單位偏少時,優先採用單細胞、拉長測試、必要時改較淺 KPI,並接受較高的 MDE。
香港、台灣可穩定做投放與量度的縣市/郵區數量,通常遠少於美國 DMA 規模。本文判斷可採的務實調整:
- 堅持單細胞:把功率集中在一個問題(例如只測品牌搜尋 Go-dark)。
- 拉長測試天數:日資料波動大時,文件建議由四周改六至八周,以累積樣本。
- KPI 可暫時改較淺:例如用加入購物車代替購買,以減少零值日;決策時註明指標層級。
- 分層不可行時改隨機:文件寫明地理單位很少時可用純隨機;同時用預測試曲線目視檢查平行趨勢。
- 對照組佔比要可承受:小市場關掉 20% 地區可能直接衝擊營收;先算最壞週營收損失,再定對照組規模。
- 與 MMM 分工:地區太少、MDE 高於商業可接受門檻時,先把渠道花費與業績口徑對穩,再用開源 MMM 做長期配置,並把未來可做的 geo 測試排入校正清單。見 Robyn 與 Meridian 怎麼選。
怎樣按自己的市場改這張表
把文首那張設計檢查表複製到內部文件,再按下列順序逐欄修改,不要一次同時改三個變因。
- 先寫商業問題與決策門檻(續投/縮編/加碼)。
- 選定干預類型與單細胞/多細胞。
- 列出可投放且可匯出每日 KPI 的地理單位清單。
- 確認預測試是否 ≥
3×N,主 KPI 是否為絕對量、未歸因過濾。 - 用設計工具或顧問估 MDE 與預算;若 MDE 高於門檻,先改長度、KPI 或對照組規模,再談上線。
- 預先寫外溢、促銷日排除與空結果話術。
樣本改寫(示範):「問題:Demand Gen 首次投放是否帶來增量成交;類型:Holdback;單細胞;預測試 90 天;測試 28 天;主 KPI:後台成交筆數;門檻:相對增量 ≥12% 才放大。」
一句總結
geo experiment 用地區對照估計渠道因果增量;先寫清干預、預測試長度、絕對量 KPI 與決策門檻,再上線。
常見問題
geo experiment 和 A/B 測試有什麼分別?
A/B 通常在同一流量池隨機分使用者或頁面版本;geo experiment 按地理單位開關投放,適合無法或不便做使用者層級隨機、又需估計媒體增量的情境。兩者回答的問題不同,不可互相取代。
為什麼不能直接用 GA4 歸因數字當實驗 KPI?
Meridian GeoX 要求主 KPI 為絕對量,並使用原始、未歸因過濾的轉換序列,以免歸因邏輯扭曲因果增量估計。建議用後台成交筆數或毛營收。
預測試一定要多久?
官方下限是至少 3 × 測試天數的每日回應資料。測試 28 天則預測試至少 84 天;季節性強時應準備更長歷史。
空結果是否代表渠道沒有效?
不一定。可能是真實增量低於事先設定的 MDE,也可能是地理單位不足、測試太短或 KPI 過噪導致功率不足。應把「未能偵測」與「已證偽」分開記錄,並寫下一步(加長、改 KPI 或改設計)。
相關文章
- 量度對帳:定義、算法,以及它為什麼是自動化與 AI 的前提
- 2026 GA4 歸因模式怎麼選:數據驅動、最後點擊與口徑對照表
- Robyn 與 Meridian 怎麼選:開源 MMM 比較與決策表
- Meta 歸因窗收窄:廣告投資回報率(ROAS)忽然變差,先別砍預算
- AI 報表代理上線前,行銷團隊先核對來源、證據與覆核
先做約 15 分鐘的 量度自查,訂閱後解鎖完整清單;需要進一步協助時,透過 聯絡表單 洽詢。
資料核對於 2026-10。