00:00:01: Rebecca Janßen Ich meine, grundsätzlich kann es natürlich sein, dass die Qualität tatsächlich steigt, sich das aber in den Textbewertungen nicht widerspiegelt oder die Kunden und Kunden plötzlich wirklich zufriedener sind, alles eher unwahrscheinlich.

00:00:13: Wirtschaft, Forschung, Debatten. Ein ZEW-Podcast.

00:00:24: Bastian Thüne Onlineshops bieten vor allem zwei Versprechen: Zum einen sorgen sie für ein bequemes Shoppen von daheim aus, man muss nicht in die Städte gehen, man muss sich an keine Ladenöffnungszeiten halten. Zum anderen suggerieren sie auch durch die Bewertungen anderer Kunden würden die Güter fairer beurteilt als durch etwaige Verkäufer, die Verkaufsinteressen haben. Durch diese ganzen Kundenbewertungen sollen sie auch zu einem besten Kauf führen. Das Problem der ganzen Online-Bewertungen ist, dass die Bewertungen über den Zeitraum immer besser werden. Es ist halt fraglich, ob die Produkte auch immer besser werden. Man kann sich aber denken, dass wenn viele Produkte beispielsweise fünf von fünf Sternen bekommen, dass dies nicht der Fall ist, dass die Qualität immer steigt. Um dem Ganzen auf den Grund zu gehen, haben wir heute Rebecca Janßen eingeladen. Sie ist unser Gast und Wissenschaftlerin im Bereich Digitale Ökonomie hier am ZEW. Sie hat Prof. Dr. Irene Bertschek bei der Arbeit in der Expertenkommission Forschung und Innovation, kurz EFI, unterstützt. Außerdem hat sie gerade ihre Dissertation zur Ökonomie digitaler Plattformen beendet. Gemeinsam sprechen wir über die Inflation von Bestbewertungen und wie man dennoch Infos aus dem Sternennebel ziehen kann. Mein Name ist Bastian Thüne. Herzlich willkommen zum ZEW-Podcast, dem Podcast des Leibniz-Zentrums für Europäische Wirtschaftsforschung in Mannheim. Hallo Rebecca, schön, dass du es heute zu uns geschafft hast.

00:01:45: Rebecca Janßen Hallo Bastian, herzlichen Dank für die Einladung.

00:01:47: Bastian Thüne Ja, sehr gerne. Du hast dich intensiv mit dem Thema Online-Shopping beziehungsweise mit Kundenbewertungen auseinandergesetzt. Wann und was hast du denn zuletzt online geschoppt?

00:01:57: Rebecca Janßen Was habe ich zuletzt online geschoppt? Für eine Familien- oder Geburtstagsfeier in unserer Familie hatte ich vor ein oder zwei Wochen Solarlampen online bestellt. Ich glaube das war das letzte. Und ansonsten noch einen Starter für Tempi, also zum Fermentieren von Sojabohnen. Das sind jetzt so die letzten Sachen, die mir gerade einfallen.

00:02:18: Bastian Thüne Hast du auch die Bewertung von anderen Kundinnen und Kunden genutzt, um die Kaufentscheidung zu treffen?

00:02:24: Rebecca Janßen In Teilen ja. Also ich glaube, grundsätzlich würde ich auf die Frage, ob ich selbst Onlinebewertungen nutze, antworten: Ja, es kommt darauf an. Einerseits auf die Art des Produktes, also ob es sich zum Beispiel um ein Produkt handelt, bei dem ich erst nach oder während der Nutzung final feststellen kann, was die Qualität ist, ob das passt oder nicht passt und es nicht so leicht ist, das einfach anhand objektiver Kriterien wie Maße, Gewicht oder ähnliches zu beurteilen. Und in solchen Fällen schaue ich auf jeden Fall auch mal auf die Bewertungen und versuche dann einfach, mir ein möglichst breites Bild zu machen. Durch vielleicht die Sterne-Bewertungen und numerischen Bewertungen aber auch mal einen Blick auf die Textbewertungen zu werfen und dann am Ende die Summe aller Informationen sowie meine eigene Intuition zu benutzen, um dann ein für mich hoffentlich passende Entscheidung zu treffen.

00:03:19: Bastian Thüne Und hast du das Gefühl, dass dir das bisher geholfen hat, oder hat es das mitunter in die Irre geführt?

00:03:24: Rebecca Janßen Grundsätzlich würde ich schon sagen, dass es mir geholfen hat, aber ich würde auch sagen, dass ich jetzt nicht allein auf die Bewertungen vertrauen würde und da vielleicht dann auch so vorsichtig bin, dass es zumindest Großteils jetzt nicht die Gefahr birgt, dass ich irgendwas kaufe, nur aufgrund einer Bewertung.

00:03:44: Bastian Thüne Ja, das hatte ich ja schon eingangs erwähnt, dass die Kundenbewertungen ja auch einen gewissen Zweck haben. Und kannst du einfach noch mal aus deiner wissenschaftlichen Sicht erklären, welche Vorteile sollen Kundenbewertungen wie diese berühmten fünf Sterne bieten?

00:03:59: Rebecca Janßen Ja, grundsätzlich haben Bewertungssysteme einige ökonomisch oder gesellschaftlich vorteilhafte Eigenschaften. Zum einen sollen diese Bewertungen vor allem Informationen schaffen oder Informationen bringen, die man sonst nicht hätte als Verbraucherinnen oder Verbraucher. Das heißt, gewisse Informationsasymmetrien abbauen in dem Sinne, dass manche Informationen vielleicht nur die Anbieter der Produkte haben. Oder halt diejenigen, die die Produkte schon gekauft haben. Das ist das eine. Das zweite wäre, dass es den Kaufprozess oder den Entscheidungsprozess einfach einfacher und leichter machen soll, das heißt Suchkosten verringern soll. Oftmals werden diese Onlinebewertungen auch als Online-Mundpropaganda bezeichnet und um die Anzahl oder die Menge an zusätzlichen Informationen einzuholen. Wenn ich jetzt nicht diese anderen Bewertungen hätte, müsste ich wahrscheinlich mit sehr vielen Leuten sprechen und aufgrund oder mithilfe dieser Bewertungen online wird dieser Prozess einfach erleichtert, zusätzliche Meinungsbilder zu erlangen. Dann von einer eher marktwirtschaftlichen Perspektive ist es so, dass diese anderen Bewertungen den Wettbewerb zwischen verschiedenen Anbietern fördern können, weil es natürlich dann auch so ein gewisses Konkurrenzdenken vielleicht gibt. Oder wenn ein Anbieter eines Produktes sehr viel bessere Bewertungen hat als ein anderer, dann kann das eben auch den Wettbewerb zwischen den Anbietern fördern und auch zu neuen Innovationen oder neuen Produktverbesserungen führen allein aufgrund dieses Wettbewerbs. Aber auch aufgrund der zusätzlichen Information, die die Kundinnen und Kunden bereitstellen, innerhalb zum Beispiel dieser Textbewertung, durch die dann die Anbieter neue Ideen bekommen können.

00:05:51: Bastian Thüne Also haben durchaus auch Händler ein Interesse daran, die Kundenbewertungen durchzulesen und dass sie möglichst auch echt und authentisch sind und nicht gefaket. Und die Hersteller haben, können quasi ein Teil ihrer Umfragen oder der Umfrageergebnisse auch dadurch generieren, lassen sich mitunter inspirieren.

00:06:08: Rebecca Janßen Genau. Also grundsätzlich haben die schon auch ein Interesse daran, dass sie möglichst authentisch sind und natürlich möglichst breit und natürlich auch möglichst positiv für sie. Aber das ist halt insgesamt das System dann.

00:06:23: Bastian Thüne Und das heißt, dass auch die meisten Onlinehändler inzwischen so ein Bewertungssystem nutzen, weil anders auch ein Wettbewerbsnachteil wäre gegenüber anderen Shops?

00:06:32: Rebecca Janßen Genau. Also in der Zwischenzeit haben fast alle Onlineplattformen irgendeine Art von Bewertungssystem. Und das ganz unabhängig davon, ob der Hauptkern oder das Kerngeschäftsfeld der Plattform ursprünglich eine Bewertungsfunktion hatte oder nicht. Zum Beispiel Jameda, die Ärztebewertungsplattformen war ursprünglich insbesondere auch dazu gedacht, quasi zusätzlich Informationen über Ärztinnen und Ärzte bereitzustellen oder Yelp war ursprünglich vor allem eine Bewertungsplattformen für Restaurants und erst mit der Zeit kamen dann andere Funktionen dazu. Aber auf der anderen Seite gibt es quasi auch online Handelsplattformen, also klassische E-Commerce Plattformen, die eher den Zweck verfolgen, Produkte zu verkaufen. Aber auch dort gibt es mittlerweile fast immer diese verschiedenen Bewertungssysteme.

00:07:19: Bastian Thüne Das stimmt. Wir sind ja auch schon oft über den Weg gelaufen. Sie helfen ja mitunter auch jetzt gerade bei so Sachen wie Hotelbuchungen, du kannst es davor nicht so richtig einsehen. Jetzt gehen wir aber noch mal wieder einen Schritt zurück. Wie kamst du denn auf die Idee, diese Sterninflation zu erforschen?

00:07:36: Rebecca Janßen Genau das Thema inwiefern Onlinebewertungen über die Zeit immer besser werden, ohne dass die Qualität eigentlich steigt oder ohne dass die Zufriedenheit der Kundinnen und Kunden wirklich steigt, war eine Frage, die ich jetzt in den letzten Monaten oder in einem neueren Projekt zusammen mit einem Koautor von der Stanford University, Matthew Ribar, zusammen untersucht habe. Und ich hatte mich schon länger für Bewertungssysteme insgesamt interessiert, eben einfach aus der Perspektive: Was sind die ökonomischen Vorteile? Was sind aber auch vielleicht Herausforderungen? Und zu der Frage, inwiefern die Bewertungen aber über die Zeit ansteigen, ohne dass es diese Qualitätsverbesserung gab, gab es bisher nur vereinzelte empirische Studien. Und wir hatten dann die Gelegenheit, einen größeren Datensatz mit mehreren Millionen an Bewertungen von verschiedenen Nutzerinnen und Nutzern und auch mit zusätzlichen Informationen über diese Nutzerinnen und Nutzer zu Rate zu ziehen und eben für diese Frage genau zu nutzen, weil sie uns immer mal wieder selbst kam oder eben begegnet ist. Genau. Und so kam es dann letztlich zu dem Projekt, das wir gestartet haben, während ich einen Forschungsaufenthalt dort gemacht habe.

00:08:48: Bastian Thüne Kannst du uns kurz erläutern, welche Methoden ihr benutzt habt? Also einfach relativ simpel, so für Laien verständlich?

00:08:55: Rebecca Janßen Genau. Also grundsätzlich haben wir unter der Inflation der Bewertungen verstanden, dass diese Sternebewertungen, oder irgendeine Art von numerischer Bewertung, über die Zeit ansteigen, während die Qualität das vielleicht nicht tut. Und oftmals ist es ja so, dass auf diesen Bewertungsplattformen oder Bewertungssystem man einerseits zum Beispiel fünf Sterne von eins bis fünf vergeben kann und zusätzlich aber auch die Möglichkeit besteht, noch freie Texte hinzuzufügen, also klassische Textbewertungen. Und um jetzt festzustellen, ob die Sterne Bewertung überdurchschnittlich stark ansteigen, brauchten wir natürlich ein Vergleichsmaß, was die Qualität ein bisschen objektiver darstellen konnte. Und wir haben uns dann zu Nutze gemacht, dass die davon ausgehen, dass die Textbewertungen sich über die Zeit nicht so stark verändern sollten oder überhaupt nicht verändern sollten in der Art und Weise, wie Leute diese Texte schreiben. Und haben uns dann dazu entschieden, quasi Textanalysemethoden zu nutzen, um die Texte auszuwerten und ein Qualitätsmaß vorherzusagen, das eben zu einem bestimmten Teil, zu einer bestimmten Textbewertung gehört. Das heißt, die Annahme war dann: Wir haben einen gewissen Text, sei es dieses Produkt ist sehr gut oder von sehr guter Qualität, ich war sehr zufrieden. Dank der Tatsache, dass wir Millionen von Bewertungen hatten und dann für einen Top Sample, also quasi einen Beispiel Datensatz daraus diese Verbindung zwischen Textbewertung und tatsächlicher Bewertung herstellen konnten, konnten wir das dann für alle anderen Bewertungen auch vorhersagen.

00:10:34: Bastian Thüne Ihr habt das ja anhand eines Online Weinshops gemacht und dann denke ich mal, wenn jetzt ein großes Weingut auf den Markt bringt, beispielsweise einen 2019er-Jahrgang, dann wird auch die Qualität gleich bleiben, bis diese Charge ausverkauft ist. Und im nächsten Jahr fängt das Ganze halt wieder von vorne an. Hat euch das dann auch geholfen?

00:10:51: Rebecca Janßen Genau. Grundsätzlich bekamen wir oft das Feedback: Das sind Weine und werden Weine nicht über die Zeit besser oder so? Weil es grundsätzlich immer die Hypothese oder den Mythos, würde ich sagen, vielleicht gibt, dass das auf Weine zutrifft, aber da haben wir eben dann auch noch mal recherchiert und mein Koautor hatte dann noch ein bisschen mehr Wissen, auch aus dem Bereich, kontrolliert, dass in unserem Datensatz überwiegend Weine sind, die, wie du schon sagst, von der Qualität der eher gleichbleibend sind und sich jetzt mit Sicherheit nicht irgendwie verbessern und dadurch, dass wir eben das Datum hatten, zu dem die Bewertung abgegeben wurde, konnten wir dann zum Beispiel auch immer feststellen, wie alt war das Produkt zu dem Zeitpunkt und sichergehen, dass das eben über die Zeit konstant bleiben sollte.

00:11:37: Bastian Thüne Ich glaube mit dem Wein, das ist auch ein Mythos, zumal ja inzwischen eher junge Weine bevorzugt werden und nicht mehr die, die Jahre lang gereift sind. Aber wieder zurück zum Thema Was vermutest du oder was haben euch die Daten gesagt? Was führte zur Inflation dieser guten Bewertungen?

00:11:53: Rebecca Janßen Ja, grundsätzlich sind die Gründe für dieses Phänomen immer besser werdender Bewertungen ohne offensichtlich offensichtliche Qualitätsverbesserung bisher nicht so wirklich klar und auch weder jetzt aus unserer Studie heraus kann man ganz genau sagen okay, das ist der Grund dafür. Genauso ist es für andere oder diese anderen wenigen Studien bekannt oder der Fall, die es zu dem Thema bereits gibt. Da kann ich im Grunde nur spekulieren beziehungsweise eine Reihe eine Reihe von potenziellen Gründen quasi nennen, die da infrage kommen könnten. Ich meine, grundsätzlich kann es natürlich sein, dass die Qualität tatsächlich steigt, sich das aber in den Textbewertungen nicht widerspiegelt oder die Kunden und Kunden plötzlich wirklich zufriedener sind. Alles eher unwahrscheinlich, auch auf Grundlage unserer Erkenntnisse und auch der Erkenntnisse anderer. Aber theoretisch ist es natürlich möglich. Genauso wie die Tatsache, dass plötzlich einfach die Selektion der Nutzerinnen, Nutzer oder der Kundinnen und Kunden die Bewertung abgeben, sich verändert und plötzlich nur noch die Bewertung abgeben, die eben total zufrieden sind. Das passt aber auch nicht so ganz zu den Analysen, die wir gemacht haben. Auf Basis der Texte, weil wir uns zum Beispiel auch angeschaut haben, was ist das Sentiment oder die Stimmung innerhalb der Texte und die verändert sich dann zum Beispiel auch nicht. Nun zu der Frage, was vielleicht mehr in Richtung der tatsächlichen Gründe sprechen kann, wäre ein Punkt, dass auch für diejenigen, die eben eine schlechte Bewertung abgeben, Kosten damit verbunden sein können und seien es nur psychologische Kosten, dass man der anderen Person oder dem Anbieter einen Schaden zufügt und das öffentlich einsehbar ist auf Plattformen. Es gibt zum Beispiel oder eine Studie, die vergleicht öffentliches Feedback mit privatem Feedback und findet da dann eben, dass, während das öffentliches Feedback vielleicht über die Zeit steigt, im privaten Feedback, das nicht öffentlich auf der Plattform gemacht wird, das nicht so widergespiegelt ist.

00:13:52: Bastian Thüne Also das kennen wir ja alle in Restaurantbesuch machen. Man sagt dem Kellner, dass es geschmeckt hat, weil man sozial freundlich und höflich sein möchte, aber in Wahrheit sagt man dann online: „Geh da bitte bloß nicht hin“.

00:14:03: Rebecca Janßen Genau. Und das könnte noch dadurch verstärkt werden, dass es mittlerweile immer häufiger und auf immer mehr Plattformen die Möglichkeit gibt, auf die Bewertungen zu reagieren. Das heißt oftmals sieht man ja auch zum Beispiel bei Google-Bewertungen oder ähnliches, dass dann vielleicht der Anbieter oder das Restaurant oder was auch immer es in dem Fall ist, quasi auf bestehende oder abgegebene Bewertungen reagiert und antwortet. Und dadurch wird natürlich noch mal mehr Fokus darauf gelegt und vielleicht ist es manchen Leuten dann auch unangenehm oder sie haben eben Sorge, dass es dazu kommen könnte. Und letztlich steht natürlich noch die Frage im Raum, inwieweit dieser Trend auch auf irgendeine Art und Weise durch beeinflusste Bewertungen auch mit getrieben werden könnte.

00:14:49: Bastian Thüne Also in Richtung Manipulation. Kann man da so weit gehen?

00:14:52: Rebecca Janßen Genau. Also oftmals wird der Begriff gefälschter Bewertungen verwendet, und der wird sehr pauschal verwendet und ist eigentlich nicht klar definiert. Deswegen ist das immer so ein bisschen gefährlich. Aber auf irgendeine Art und Weise beeinflusst die Bewertung. Und das Bundeskartellamt hat da zum Beispiel eine sehr differenzierte Unterscheidung gemacht, welche Arten von beeinflussten Bewertungen es gibt. Angefangen von intensivierten Bewertungen. Das heißt, eine Person kauft aus eigenen Mitteln ein Produkt und es gibt dann aber so kleine Nudges oder Hinweise, dass man doch vielleicht bitte eine Bewertung danach abgeben kann, die aber in keiner Weise in ihrem Inhalt beeinflusst ist. Aber es gibt sei es bei der Abgabe, bekommen einen Gutschein oder ähnliches so kleine Anstupser doch bitte eine Bewertung abzugeben. Das wäre quasi die einfachste Form.

00:15:40: Bastian Thüne Die führen dann auch dazu, dass man dann quasi für den Gutschein so ein bisschen bedankt und dann halt eine höfliche Bewertung abgibt?

00:15:45: Rebecca Janßen Nein, bei intensivierten Bewertungen in dieser Gruppe ist es eigentlich so gemeint, dass quasi die Bewertung vollkommen authentisch ist und genau dem tatsächlichen Empfinden der bewertenden Person entspricht. Der nächste Schritt wäre dann eine Produkttestbewertung. Die sind meistens dadurch gekennzeichnet, dass bereits die Bereitstellung des Produktes kostenlos oder kostenfrei stattfindet und dann eine entsprechende Bewertung abgegeben wird. Bei manipulierten Bewertungen ist es dann so, dass die Bewertung oder die Bewertung am Ende ausfällt, schon in eher diese positive Richtung getrieben wird. Sei es durch man bekommt das Produkt kostenlos, weil man fünf Sterne vergibt oder ähnliches. Und dann ist die letzte und extremste Kategorie nicht authentische Bewertung, bei der es eigentlich gar keine Nutzung des Produkts gab. Das heißt, ich schreibe einfach eine Bewertung, ohne das Produkt jemals genutzt oder gesehen zu haben. Sei es eine sehr positive oder auch eine sehr negative, wenn ich vielleicht mal die Konkurrenz bewerte.

00:16:45: Bastian Thüne Ja, vielen Dank. Jetzt hast du das ganz gut aufgedröselt für uns. Hast du denn zum Schluss noch ein paar Tipps, wie man sich durch diesen ganzen Sternedschungel kämpfen kann und dennoch zielführend die Subtexte entschlüsselt?

00:16:58: Rebecca Janßen Ich würde sagen, am Ende geht es darum, sich ein Gesamtbild zu verschaffen, wenn man Bewertungen zurate ziehen möchte. Also man kann zum Beispiel verschiedene Bewertungen mit unterschiedlicher Sterneanzahl überfliegen, also nicht nur die positiven oder nur die negativsten anschauen, sondern einfach so die Bandbreite einmal anschauen. Man kann Ausschau nach wiederkehrenden Aspekten halten. Das heißt, wenn manche Dinge immer wieder aufkommen, Kritikpunkte oder Pluspunkte, dann spricht das vielleicht eher dafür, dass es tatsächlich der Fall ist. Man kann sich anschauen wie viel Informationstiefe steckt in manchen Bewertungen wirklich drin. Sind manche sehr oberflächlich, dann bringt sie mir vielleicht weniger als andere, die sehr viel mehr Informationen bieten. Oder auch die Verteilung der Bewertung insgesamt oder auch die Anzahl. Und wie ich am Anfang schon gesagt habe, vielleicht nicht allein nur auf diese Onlinebewertungen zu setzen, aber das trotzdem als Bereicherung für das Gesamtbild zu anzusehen.

00:17:56: Bastian Thüne Danke für den Hinweis. Jetzt ganz zum Schluss möchte ich Dir noch herzlich zu deiner bestandenen Dissertation gratulieren. Damit beginnt jetzt auch ein neues Kapitel für dich. Du wirst das ZEW verlassen. Aber nicht nur das ZEW, sondern auch Deutschland. Du gehst in die USA. Das darf man, glaube ich, schon verraten. Magst du uns noch erzählen, wieso es dich aus Deutschland wegzieht oder warum es dich hin in die USA zieht?

00:18:20: Rebecca Janßen Ähm, ja, erst mal ja, erst mal herzlichen Dank. Genau meine Zeit am ZEW neigt sich dem Ende entgegen. Nach knapp sechs Jahren und ich verlasse das mit Sicherheit mit einem lachenden und einem weinenden Auge. Ich habe in den letzten zwei Jahren schon einige Monate oder in Summe glaube ich über ein Jahr in den USA verbracht für zwei Forschungsaufenthalte und ein Praktikum. Und da ist es tatsächlich eher ein bisschen wieder auch zurückgehen dorthin, wo ich dann halt schon viel Zeit verbracht habe. In meinem Fall ist es jetzt so, dass ich Academia erst mal verlassen werde und in der freien Wirtschaft meinen nächsten Job anfangen möchte. Und da bieten einfach die USA oder die Region noch mal andere Möglichkeiten, neue Erfahrungen zu sammeln und einfach mal was Neues zu sehen. Und dann war es auch aus privaten Gründen eine gemeinschaftliche Entscheidung von meinem Partner und mir gemeinsam, dass wir dann die nächste Zeit erst mal dort verbringen wollen. Also es ist weniger ein „Ich will weg aus Deutschland, sondern mehr ein es zieht uns irgendwie für den Moment und für die Erfahrung dort erst mal in die USA.“

00:19:23: Bastian Thüne Ja, das klingt definitiv spannend dann. Vielen lieben Dank für das Gespräch, Rebecca und alles Gute für die Zukunft und deine, eure Zeit in den USA.

00:19:31: Rebecca Janßen Ja, ganz herzlichen Dank dir.

00:19:32: Bastian Thüne Danke und danke auch fürs Zuhören beim ZEW-Podcast. Wenn es euch gefallen hat, ihr Anregungen habt oder Kritik üben möchtet, dann gerne via Mail an podcast@zew.de. Wir sind gespannt auf eure Zuschriften.

00:19:49: Wirtschaft, Forschung, Debatten. Ein ZEW-Podcast.