A/B testi, iki farklı versiyon arasında hangisinin daha iyi sonuç verdiğini kontrollü bir deneyle anlamaya yarar. Kullanıcıların bir kısmına A versiyonu, diğer kısmına B versiyonu gösterilir. Tıklama oranı, dönüşüm veya süre gibi metrikler karşılaştırılır. Tahminle değil veriyle karar almak için en yaygın yöntemlerden biridir. Buton rengi, başlık metni, fiyatlandırma düzeni veya ürün sıralaması gibi onlarca değişken test edilebilir.
A/B testin en büyük hatalarından biri istatistiksel anlamlılığa ulaşmadan sonucu doğru okumaktır. 200 kullanıcıyla test yap, birkaç gün sonra bak, A kazandı de. Bu yanıltıcıdır. Veri yeterince büyük değilse veya test süresi çok kısaysa rastlantısal farklılıklar gerçekmiş gibi görünebilir. Ayrıca tek seferde birden fazla değişkeni değiştirirsen neyin fark yarattığını bilemezsin. İyi A/B test; tek değişken, yeterli örneklem ve istatistiksel güven eşiği gerektirir.
