Ürün düşüncesi / DIJION
Ürün deneyi ne zaman durmalı? Başlamadan karar kuralları
Hipotez, veri kalitesi ve kullanıcıya zarar sınırını ayıran; sonuç görüldükten sonra hedef değiştirmeyi önleyen deney karar kartı.
Bir değişikliği denemek, her gün sonuca bakıp iyi görünen anda karar vermek değildir. Örnek bir başlangıç akışı denemesinde ekip önce hangi belirsizliği çözmek istediğini yazmalıdır. Küçük trafikle kısa sürede kesin sonuç çıkmayabilir. Buna rağmen görev sırasında oluşan ciddi bir hata, istatistiksel sonuç beklemeden müdahale gerektirebilir.
Hipotez ve değişikliği sınırlandırın
Yeni metin, yeni düzen ve yeni kayıt zorunluluğunu aynı anda değiştirmek sonucu yorumlamayı zorlaştırır. Tek değişiklik şart değildir; ama paketin neyi test ettiği açık olmalıdır. Hedef kullanıcı, uygun oturum ve başarı tanımını yazın. Bir prototip gözlemiyle canlı kontrollü deneyi aynı kanıt türü gibi değerlendirmeyin.
Karar türlerini birbirinden ayırın
Tüm sütunlar için tabloyu yatay kaydırabilirsiniz.
| Karar | Tetikleyici türü | Sonraki işlem |
|---|---|---|
| Acil durdur | Veri kaybı veya ciddi görev hatası | Değişikliği geri çek |
| Geçersiz sonuç | Ölçüm veya atama sorunu | Veriyi karar için kullanma |
| Belirsiz sonuç | Yetersiz veya kararsız kanıt | Yeniden planla veya vazgeç |
Gözlem planını sonuçtan önce yazın
Süre, örneklem ve değerlendirme yöntemi deneyin sorusuna bağlıdır; burada evrensel bir sayı yoktur. Uygun istatistiksel tasarım gerekiyorsa ilgili uzmanlıkla planlayın. Sonuç iyi göründüğünde bitişi öne çekmek, kullanılan yöntem bunu kapsamıyorsa yorumu bozabilir. Karar kurallarında yapılan değişiklikleri görünür bir kayıt olarak saklayın.
Ana hedefin yanında koruyucu sinyaller seçin
Tamamlama artarken destek talepleri, yanlış kayıt veya erişilebilirlik engeli oluşabilir. Bu sinyalleri hedef metriğin dipnotu gibi görmeyin. Hangi olayın durdurmaya, hangisinin incelemeye yol açacağını önceden yazın. Sonucu açıklarken belirsizliği, uygulanamayan grupları ve deneyin incelemediği koşulları koruyun.
Başlatmadan önce masa başı provası
- İyi, kötü, belirsiz ve ölçümü bozuk sonuçlar yazın.
- Her sonuç için karar sahibini ve eylemi belirleyin.
- Geri çekme yolunu gerçekçi bir ortamda kontrol edin.
- Sonuç raporunda hipotez ile keşif amaçlı gözlemleri ayırın.
Deney kartı karar verilemeyen bir sonucu da kabul etmelidir. Belirsizliği dürüstçe korumak, her denemeden kazanan çıkarmaya çalışmaktan daha sağlam bir çalışma alışkanlığıdır.