Innovation

Wann A/​B-Tests scheitern

Wenn Unternehmen Ideen für Produktänderungen und neue Features testen, begehen sie häufig drei typische Fehler. Um diese zu vermeiden, müssen sie beachten, dass Kunden unterschiedlich handeln und untereinander vernetzt sind. Und ihre Experimente entsprechend anpassen.

Von Iavor Bojinov, Guillaume Saint-Jacques, Martin Tingley
Kör­per aus TEch­nik: Der Ro­bo­ter Char­lie ist ei­nem Af­fen nach­emp­fun­den. Wenn er soll, kann er sich auf­rich­ten.

Seit ei­ni­gen Jah­ren er­freu­en sich On­line-A/​B-Tests zu­neh­men­der Be­liebt­heit. Das liegt zum ei­nen dar­an, dass im­mer mehr Un­ter­neh­men ihr Po­ten­zi­al er­ken­nen. Zum an­de­ren sind die Kos­ten der für die Um­set­zung nö­ti­gen Tech­no­lo­gi­en ge­ring. Heu­te füh­ren nicht nur di­gi­ta­le Fir­men, son­dern auch im­mer mehr her­kömm­li­che Un­ter­neh­men jähr­lich Zehn­tau­sen­de On­line­ex­pe­ri­men­te durch. Sie nut­zen die Tests, um her­aus­zu­fin­den, ob eine Ände­rung an ei­nem Pro­dukt, Ser­vice oder An­ge­bot zu ei­ner bes­se­ren Per­for­mance führt als die bis­he­ri­ge Ver­si­on. Dazu ver­glei­chen sie eine Kon­troll­va­ri­an­te A (meist der Sta­tus quo) mit ei­ner al­ter­na­ti­ven Va­ri­an­te B. Da sich die Re­ak­ti­on der Nut­zer auf die Ände­rung schnell ab­le­sen lässt, sind Un­ter­neh­men in der Lage, ihre di­gi­ta­len Pro­duk­te best­mög­lich zu op­ti­mie­ren oder neue Pro­duk­te zu ent­wi­ckeln. Dar­über hin­aus tes­ten sie die Neue­rung nur an ei­ner klei­nen, zu­fäl­lig aus­ge­wähl­ten Grup­pe, be­vor sie sie flä­chen­de­ckend ein­füh­ren, was das Ri­si­ko un­er­wünsch­ter Ne­ben­wir­kun­gen senkt. Doch A/​B-Tests ha­ben noch ei­nen wei­te­ren Vor­teil: Mit kei­ner an­de­ren Me­tho­de las­sen sich die Ef­fek­te, die eine Ände­rung be­wirkt, so ob­jek­tiv mes­sen. So kön­nen Un­ter­neh­men ei­nen An­stieg der Um­sät­ze, des User-En­ga­ge­ment oder an­de­rer In­di­ka­to­ren, die die Ver­än­de­rung be­wirkt hat, von dem Wachs­tum un­ter­schei­den, das oh­ne­hin statt­ge­fun­den hät­te. Es er­mög­licht ih­nen, Chan­cen zu er­ken­nen und den Re­turn on In­vest­ment ab­zu­schät­zen.

Für vie­le Un­ter­neh­men sind A/​B-Tests mitt­ler­wei­le ein fes­ter Be­stand­teil des Pro­dukt­le­bens­zy­klus. Die Er­geb­nis­se die­nen als wich­ti­ge Ent­schei­dungs­hil­fe, etwa bei der Über­le­gung, wann oder ob ein neu­es Pro­dukt ein­ge­führt oder ein be­ste­hen­des ver­än­dert wer­den soll. Aber auch bei der Er­schlie­ßung neu­er Märk­te und Kun­den­seg­men­te oder der Fra­ge, wie das vor­han­de­ne Ka­pi­tal auf die un­ter­schied­li­chen Ge­schäfts­be­rei­che ver­teilt wer­den soll, kom­men sie zum Ein­satz. Er­folg­rei­che A/​B-Tests spie­len zwei­fel­los eine ent­schei­den­de Rol­le für den zu­künf­ti­gen Ge­schäfts­er­folg. Häu­fig be­ge­hen Un­ter­neh­men je­doch schwe­re Feh­ler bei der Durch­füh­rung. Im Rah­men un­se­rer For­schung an der Har­vard Busi­ness School und auf Ba­sis un­se­rer Er­fah­run­gen als lei­ten­de Da­ten­wis­sen­schaft­ler bei Net­flix und Lin­ke­dIn ha­ben wir drei ty­pi­sche Fal­len iden­ti­fi­ziert, in die Un­ter­neh­men bei On­line­ex­pe­ri­men­ten tap­pen. In die­sem Ar­ti­kel zei­gen wir, wie Sie die­se Fal­len ver­mei­den. Wir stel­len Me­tho­den vor, die bei Net­flix und Lin­ke­dIn funk­tio­niert ha­ben und mit de­nen Sie die Wirk­sam­keit Ih­rer Tests und da­mit die Per­for­mance Ih­res Un­ter­neh­mens stei­gern.


Sie lesen die Vorschau

Sie haben diese Ausgabe bereits gekauft oder ein digitales Abo? Dann melden Sie sich mit Ihrer manager-ID an, um den vollständigen Artikel zu lesen.

Den vollständigen Artikel lesen Sie in der Ausgabe 4/2020.