Hey, shitty ET readers,
I wrote this article to contribute my humble expertise on WSO(actually it's a report to my boss). Enjoy your reading. Your commend is highly welcomed.
一、引言
==========
说起内容优化测试，其实不能理解成用什么什么平台做这种类型的数据收集分析才算是内容优化测试。从测试科学的角度去理解，就是在一个相对更公平的环境下（主要是时间因素），展示两个、或者多个版本的页面，然后分别追踪KPI，根据数据类型来做统计分析，主要还是差异检验分析；如果是百分率指标，就可以用百分率差异检验的相关方法来进行分析，预测哪个版本表现更好的几率更大；如果是订单额指标，就可以用方差分析的差异检验方法。现在的内容优化测试平台都是用这几种统计学机制。内容优化测试按照类型，大致可以分2种，一种是整个页面的测试，也就是经常说到的A/B TEST，两个页面有不同的URL，然后有系统分别调配用户跳转到新测试版本的url还是继续留在原url。另一种是MVT（Multivariate Test，多元素测试），就是一个页面上多个位置上的元素进行测试，每个位置还可以放多个测试版本，这样按照排列组合生成多个不同的版本同时进行测试。MVT需要比较大的流量才能比较快得出结果。
二、第三方平台的工作原理
========================
如上面所说，平台的作用，主要在于创造一个公平的时间因素条件，比如，做内容优化测试的时候，可以不用平台，自己主观分别在不同时间展示不同的版本，然后再追踪数据。这种做法有诸多不妥的地方：1. 时间因素，不能排除变化的差异是由于前后时间外部因素，如节日等带来的；2. 由于没法控制用户访问的版本，因此会出现用户在看到版本A之后，过段时间再看版本B，然后觉得站点有在更新，因为产生了好感度，为以后的KPI完成埋下伏笔。对于这种例子，我们不能很确定是由于B版本真的更能促进用户完成KPI行为的。因此平台都能通过cookie或者别的手段来让用户在测试期内永远只能看见一个版本，就是当测试开始之后，他只能看见某版本，无论他怎么刷新，都不能看见另一个版本。不过，这种通过cookie的手段只是一定程度上有效，因为不能排除所有的用户都不会在试验期内不删除cookie，如果他删除了浏览器里的cookie，或者换了一个浏览器再看，就有机会再看到另一个版本。对于这个，是没办法控制的，除非再提出其他强制行的措施。比如登陆账号之后再展示不同版本等等。无论用什么手段，都不能让顾客知道在参加测试，以避免出现霍桑效应而导致数据失真。平台的基本工作原理如下：
1. 通过JavaScript程序让系统辨别要进行测试页面，捕抓需要进行变更的区域，实现页面跟踪；
2. 用户提交测试的内容给系统，让系统在测试进行的期间分配不同内容给不同用户看，可以是整个新页面，也可以是一个页面里面的某些内容；
3. 在添加测试页面、成功页面的跟踪代码之后便可运行测试；
4. 测试开始时，网站的访客在load页面的时候，会先load到测试代码，系统此时会自动随机的分配一个版本给访客，同时添加cookie，防止能看到其他版本；
5. 在测试期间，分别通过跟踪代码统计各版本的访问数和转化数，再根据相关的统计学公式进行自动运算，在测试报表页面上反馈最终的统计检验结果，如果达到统计学显著差异的水平，系统就会以文字的形式告知测试者，这样就可以让不懂统计学的用户也能使用测试系统。
第三方平台的不足之处在与大多只能用百分率指标做为KPI，例如，订单转化率、注册率等。对于一些转化率指标不是KPI的测试，比如，如果我要研究不同版本的导致的订单额差异，就没法用第三方平台进行测试了。我以前在UE的时候曾经提出搭建自己的内容优化测试平台，经过和技术人员的配合之后搭建了一个，原理和上面说的一样，统计指标不用转化率，而是用金币订单额度。收集每天不同版本的订单额，然后再进行动态的即时的方差分析。应用该系统优化过多个优化idea，通过对订单额的方差分析，新版本都能显著优于旧版本。
三、国外一些网页内容测试平台
============================
1. 广告平台。只要是广告平台都能做A/B Test。设置两个关键字一样、投放地区一样、广告语一样的广告，然后各自的landing page是完全不一样的两个页面（或多个），然后同时开始跑广告，分别收集转化率数据进行百分率的统计差异显著性检验就可以了。不过，这种做法是很不严谨的，因为会出现可能某用户一天或者隔天都能看到不同的版本，不能做到一个用户在测试期内只能看到1个版本的限制。
2. google免费内容优化平台。能做A/B TEST 和 MVT。目前似乎出现问题，无法采集数据。
3. 其他收费平台。国外做内容优化测试的平台很多，收费各不一样，测试原理都是一样的，就是在系统界面和设置上有不一样而已。主要有：
http://hiconversion.net/
http://www.conversionmultiplier.com/
http://visualwebsiteoptimizer.com/
http://vertster.com/
http://unbounce.com/
http://sitetuners.com/
http://www.sitespect.com/
No comments:
Post a Comment