Her ajans, ekibin bayıldığı ama kitlenin görmezden geldiği bir kreatifi yayına almıştır. Reklam platformlarındaki gerçek A/B testleri bu soruyu doğru şekilde yanıtlar; ama para ve gün ister, aynı anda da ancak birkaç tane çalıştırabilirsiniz. Simüle kitle testi, o noktaya gelmeden seçenekleri daraltmanın bir yoludur.
Bu rehber simüle kitle testinin ne olduğunu, nasıl iyi kullanılacağını ve en az bunlar kadar önemli olarak neyi yapamayacağını anlatıyor.
Simüle kitle nedir?
Simüle kitle, bir markanın kime sattığına dair bir tarife uygun olarak üretilmiş kurgusal kişilerden oluşan bir paneldir: yaş aralığı, ülke, dil, ilgi alanları, tutumlar. Bir dil modeli her kişiliği canlandırır, gerçek kreatife (görsel, karusel, video kareleri, metin) bakar ve onunla ilgili soruları sabit bir biçimde yanıtlar.
Sonuç bir simüle tepkidir: Sizin tarifinizden kurulan bir panelin, ona gösterdiğiniz şeye nasıl tepki verdiği. Tıklama oranı, dönüşüm ya da satış için bir tahmin değildir. Bunu tahmin olarak sunan her araca temkinli yaklaşın.
Ne işe yarar?
- Seçenekleri karşılaştırmak. Üç başlıktan hangisi daha anlaşılır? Hangi görsel dikkati arka plana değil ürüne çekiyor? Aynı panele gösterilen varyantlar arasındaki karşılaştırmalar, bu yöntemin en çok işe yaradığı yerdir.
- Bariz sorunları erken yakalamak. Kafa karıştıran bir metin, gerçek olamayacak kadar iyi görünen bir iddia, markaya uymayan bir görsel.
- Yazılı geri bildirim almak. Bir puanın ardındaki gerekçeler çoğu zaman puanın kendisinden daha faydalıdır.
- Hız. Medya bütçesinden tek kuruş harcamadan, günler yerine dakikalar.
Ne işe yaramaz?
- Rakam tahmin etmek. Daha yüksek bir simüle puan, belirli bir CTR ya da ROAS anlamına gelmez.
- Gerçek müşterilerin yerini almak. Kişilikler bir tariften kurulur. Tarif yanlışsa panel de yanlıştır.
- Niş ya da çok yeni kitleler. Bir insan grubu hakkında ne kadar az yazılı kaynak varsa, bir dil modeli de onların nasıl düşündüğünü o kadar az bilir.
- Büyük bütçelerde son karar. Gerçek testi atlamak için değil, neyi gerçekten test edeceğinizi seçmek için kullanın.
Adil bir test nasıl yapılır?
Paneli şüphecilerle kurun
Her şeyi beğenen bir panel size hiçbir şey söylemez. Kişiliklerin kayda değer bir kısmının tasarım gereği şüpheci olduğundan emin olun: reklamlara güvenmeyen, fiyata duyarlı ya da sadece meşgul insanlar. Her varyant yüksek puan alıyorsa paneliniz fazla iyi niyetlidir.
Her varyantı aynı kişilere gösterin
Bir panele gösterilen A varyantını başka bir panele gösterilen B varyantıyla karşılaştırmak, iki farkı aynı anda karıştırır. Karşılaştırmayı eşleştirin: Aynı kişilikler ikisini de görsün.
Paneli sabitleyin ve kaydedin
Panel testler arasında değişirse puanlar karşılaştırılamaz. Paneli sabit tutun (aynı tohum aynı kişileri verir) ve bir testin panelin hangi sürümünü, hangi puanlama ağırlıklarını ve hangi modeli kullandığını kaydedin.
Yalnızca ortalamaya değil, dağılıma bakın
70’e karşı 72 ortalama gürültü olabilir. Doğru bir karşılaştırma belirsizliğe bakar: Farkın güven aralığı sıfırı içeriyorsa sonucu berabere sayın. İkiden fazla varyantı karşılaştırırken ek karşılaştırmalar için düzeltme yapın; yoksa yalnızca şans size bir “kazanan” verir.
Yorumları okuyun
Puanlar hangi varyantın kazandığını söyler; yazılı geri bildirim nedenini söyler. Çoğu zaman en faydalı sonuç, birkaç kişiliğin aynı anda söylediği “Ürünün ne olduğunu anlayamıyorum” gibi bir cümledir.
Gerçek sonuçlarla sınayın
Simüle testi dürüstçe kullanmanın yolu, her marka için ne kadar iyi çalıştığını ölçmektir. Test edilen bir kreatif daha sonra gerçek bir reklam olarak yayına girdiğinde, simüle puanını gerçek tıklama oranıyla karşılaştırın. Belli sayıda kreatiften sonra ikisinin o marka için birlikte hareket edip etmediğini ve bir dahaki sefere simülasyona ne kadar ağırlık vermeniz gerektiğini görürsünüz. Örtüşmüyorlarsa gerçek sonuçlara güvenin.
Reachio bunu nasıl yapıyor?
Reachio’nun Test Laboratuvarı yukarıdaki yaklaşımı izler ve her sonucu tahmin olarak değil, “simüle kitle tepkisi” olarak etiketler:
- Kitleyi siz tarif edersiniz, Reachio 10–50 kişilikten oluşan bir panel kurar. Özellikleri kodda sabit bir tohumla örneklenir; bu yüzden aynı kitle aynı paneli verir. Tasarım gereği her beş kişilikten en az biri şüphecidir. Paneller sürümlenir.
- Test türleri: tek puan, anket, aynı kişiliklerin iki konuyu da gördüğü A/B testi ve 2–6 konulu deneyler. Bir kazanan ancak güven aralığı sıfırı dışarıda bıraktığında ilan edilir; ikiden fazla konu için düzeltme uygulanır.
- Her kişilik gerçek kreatifi görür ve katı bir biçimde yanıt verir. Altı boyut (dikkat, alaka, duygusal etki, ikna, marka uyumu ve netlik) kodda, platforma göre ağırlıklarla 0–100 arası bir puanda ve bir bantta birleştirilir; puan her zaman yazılı geri bildirimin yanında gösterilir.
- İyileştir, en zayıf boyutları hedefleyen yeni varyantlar üretir ve bunları aynı panelle yeniden test eder.
- Laboratuvar panosu, Laboratuvar puanlarını reklam olarak yayına giren kreatiflerin gerçek tıklama oranıyla karşılaştırır; böylece her marka için Laboratuvar’a ne kadar güvenebileceğinizi görürsünüz.
- Maliyet, test çalışmadan önce tahmin edilir ve planın yapay zekâ kullanım hakkından düşer.
Ayrıntılar: Test Laboratuvarı: simüle bir kitle.