Wann A/​B-Tests scheitern

Seit ei­ni­gen Jah­ren er­freu­en sich On­line-A/​B-Tests zu­neh­men­der Be­liebt­heit. Das liegt zum ei­nen dar­an, dass im­mer mehr Un­ter­neh­men ihr Po­ten­zi­al er­ken­nen. Zum an­de­ren sind die Kos­ten der für die Um­set­zung nö­ti­gen Tech­no­lo­gi­en ge­ring. Heu­te füh­ren nicht nur di­gi­ta­le Fir­men, son­dern auch im­mer mehr her­kömm­li­che Un­ter­neh­men jähr­lich Zehn­tau­sen­de On­line­ex­pe­ri­men­te durch. Sie nut­zen die Tests, um her­aus­zu­fin­den, ob eine Ände­rung an ei­nem Pro­dukt, Ser­vice oder An­ge­bot zu ei­ner bes­se­ren Per­for­mance führt als die bis­he­ri­ge Ver­si­on. Dazu ver­glei­chen sie eine Kon­troll­va­ri­an­te A (meist der Sta­tus quo) mit ei­ner al­ter­na­ti­ven Va­ri­an­te B. Da sich die Re­ak­ti­on der Nut­zer auf die Ände­rung schnell ab­le­sen lässt, sind Un­ter­neh­men in der Lage, ihre di­gi­ta­len Pro­duk­te best­mög­lich zu op­ti­mie­ren oder neue Pro­duk­te zu ent­wi­ckeln. Dar­über hin­aus tes­ten sie die Neue­rung nur an ei­ner klei­nen, zu­fäl­lig aus­ge­wähl­ten Grup­pe, be­vor sie sie flä­chen­de­ckend ein­füh­ren, was das Ri­si­ko un­er­wünsch­ter Ne­ben­wir­kun­gen senkt. Doch A/​B-Tests ha­ben noch ei­nen wei­te­ren Vor­teil: Mit kei­ner an­de­ren Me­tho­de las­sen sich die Ef­fek­te, die eine Ände­rung be­wirkt, so ob­jek­tiv mes­sen. So kön­nen Un­ter­neh­men ei­nen An­stieg der Um­sät­ze, des User-En­ga­ge­ment oder an­de­rer In­di­ka­to­ren, die die Ver­än­de­rung be­wirkt hat, von dem Wachs­tum un­ter­schei­den, das oh­ne­hin statt­ge­fun­den hät­te. Es er­mög­licht ih­nen, Chan­cen zu er­ken­nen und den Re­turn on In­vest­ment ab­zu­schät­zen.

Für vie­le Un­ter­neh­men sind A/​B-Tests mitt­ler­wei­le ein fes­ter Be­stand­teil des Pro­dukt­le­bens­zy­klus. Die Er­geb­nis­se die­nen als wich­ti­ge Ent­schei­dungs­hil­fe, etwa bei der Über­le­gung, wann oder ob ein neu­es Pro­dukt ein­ge­führt oder ein be­ste­hen­des ver­än­dert wer­den soll. Aber auch bei der Er­schlie­ßung neu­er Märk­te und Kun­den­seg­men­te oder der Fra­ge, wie das vor­han­de­ne Ka­pi­tal auf die un­ter­schied­li­chen Ge­schäfts­be­rei­che ver­teilt wer­den soll, kom­men sie zum Ein­satz. Er­folg­rei­che A/​B-Tests spie­len zwei­fel­los eine ent­schei­den­de Rol­le für den zu­künf­ti­gen Ge­schäfts­er­folg. Häu­fig be­ge­hen Un­ter­neh­men je­doch schwe­re Feh­ler bei der Durch­füh­rung. Im Rah­men un­se­rer For­schung an der Har­vard Busi­ness School und auf Ba­sis un­se­rer Er­fah­run­gen als lei­ten­de Da­ten­wis­sen­schaft­ler bei Net­flix und Lin­ke­dIn ha­ben wir drei ty­pi­sche Fal­len iden­ti­fi­ziert, in die Un­ter­neh­men bei On­line­ex­pe­ri­men­ten tap­pen. In die­sem Ar­ti­kel zei­gen wir, wie Sie die­se Fal­len ver­mei­den. Wir stel­len Me­tho­den vor, die bei Net­flix und Lin­ke­dIn funk­tio­niert ha­ben und mit de­nen Sie die Wirk­sam­keit Ih­rer Tests und da­mit die Per­for­mance Ih­res Un­ter­neh­mens stei­gern.