Mystery Research | Definition

Mystery Research ist der Einsatz geschulter Beobachter, die als normale Kunden auftreten und reale Kundensituationen wahrnehmen, mit dem Ziel, das Dienstleistungsgeschehen nach einem zuvor festgelegten Kriterienkatalog zu bewerten, um ein objektiviertes Bild der Leistungsqualität des Unternehmens zu gewinnen, welches als Grundlage für strategische Entscheidungen und operative Maßnahmen zur Qualitätsverbesserung dient, um die objektive und wahrgenommene Dienstleistungsqualität zu verbessern. (Vgl. Grieger 2008, S. 12)

Mystery Research | Einordnung

Mystery Research ist innerhalb der Marktforschung in die Primärforschung einzuordnen. Abgegrenzt von den unternehmensorientierten Verfahren ist sie bei den kundenorientierten Verfahren und überdies bei den objektiven Messverfahren einzuordnen, da nicht die subjektive Wahrnehmung, sondern die möglichst objektive Beurteilung von Qualitätsaspekten zentraler Gegenstand des Verfahrens ist. Informationen werden in einer verdeckt teilnehmenden und strukturierten Feldbeobachtung erhoben. Dabei können sowohl quantitative wie qualitative Daten gewonnen werden. (Vgl. Grieger 2008, S. 26)

Mystery Research | Zielsetzung

Einsatz und Vorgehensweise bei Mystery Research hängen mit der angestrebten Zielsetzung zusammen. In der überwiegend praxisnahen Literatur sind unterschiedliche Zielsetzungen und Einsatzgebiete dokumentiert. Es herrscht uneingeschränkte Übereinstimmung darüber, dass Schwachstellen und somit Verbesserungspotenziale im Prozess der Erstellung von Dienstleistungen aufgedeckt werden und so handlungsrelevante Informationen gewonnen werden können. Das Instrument ist insbesondere geeignet, um die Einhaltung von Vorgaben zu überprüfen (z.B. Servicestandards, Erscheinungsbild, Platzierung von Produkten und Werbemitteln im Einzelhandel, gesetzliche Vorgaben des Wertpapierhandelsgesetzes, Rassendiskriminierung bei Kreditvergaben, Verhalten bei Kassiervorgängen). Die Daten werden an der Kundenschnittstelle erhoben (z.B. Point of Sale, Call Center, Schriftverkehr, Außendienst) und können die Basis für inner- und außerbetriebliche Leistungsvergleiche bilden, mit Anreizsystemen gekoppelt werden, als Basis für Schulungsmaßnahmen dienen, zur Messung von Service- oder Beratungsqualität eingesetzt werden, als Ausgangspunkt zur Qualitätsentwicklung verwendet werden oder, wie im Falle der Londoner Untergrundbahn, als Grundlage für die Entscheidungsfindung bei Investitionen dienen. Daneben können die Ergebnisse als Basis für Pressemittelungen oder die PR-Arbeit dienen. Ferner kann Mystery Research insbesondere eingesetzt werden, um konkrete Anhaltspunkte für zusätzliche Umsatzchancen im Verlauf eines Verkaufsprozesses zu gewinnen. Dies wird in der nachfolgenden Abbildung verdeutlicht. (Vgl. Grieger 2008, S. 47f.)
in Anlehnung an Deckers/Heinemann 2006, S. 24 Zudem sind weitere Einsatzfelder für Mystery Research denkbar, bei denen es nicht um den Kontakt mit Kunden, sondern um den mit anderen Stakeholdern eines Unternehmens geht, wie z.B. zukünftige Mitarbeiter, die das Verhalten der Personalabteilung bei Einstellungsgesprächen beurteilen, Journalisten, die das Auftreten der Abteilung für Öffentlichkeitsarbeit bewerten oder Investoren, die die Abteilung für Investor Relations einschätzen. Darüber hinaus könnten in Franchise-Unternehmen die Umsetzung zentraler Vorgaben durch den Franchise-Nehmer überprüft werden. Nur schwer denkbar wäre ein Einsatz auf der Lieferantenseite. Zum einen wäre die Rekrutierung von entsprechenden Testern nur schwer möglich, zum anderen stellt sich die Frage nach dem Nutzen. (Vgl. Grieger 2008, S. 48f.)

Mystery Research | Formen der Erhebung

Gemeinsam haben alle Formen von Mystery Research das Auftreten von geschulten Testpersonen, die Daten anhand eines vorab definierten Beobachtungskataloges erheben und dokumentieren. Der Beobachtungsbogen bezieht sich auf die zu erhebende Dimension (z.B. Erscheinungsbild, Beratungsqualität, Genauigkeit) und orientiert sich inhaltlich an den die jeweilige Branche betreffenden Eigenschaften, den Ort der Erhebung, die Erhebungsform (schriftlich, persönlich, telefonisch) und das angestrebte Ergebnis. (Vgl. Grieger 2008, S. 50)

Mystery Research | Projekt

Das mögliche übergeordnete Vorgehen im Sinne eines Projektverlaufs einschließlich einer Rückkopplung des Erfolgs von ergriffenen Maßnahmen und Folgeprozessen ist in nachfolgender Abbildung dargestellt. Im ersten Schritt sind die Anforderungen und Ziele festzulegen. Sollen beispielsweise Servicestandards überprüft und ggf. verbessert werden, so sind sie zunächst zu definieren. In der operativen Vorbereitung ist eine Vielzahl an Aufgaben abzuarbeiten: Der Beobachtungskatalog ist zu formulieren, die Art der Durchführung ist festzulegen (eigene Durchführung vs. Beauftragung einer auf Mystery Research spezialisierten Agentur, Einsatz Profitester vs. Laientester), die Anzahl und die (mögliche) Art der Schulung der Tester ist zu bestimmen, der zeitliche Ablauf ist zu planen und die Rückspielung der Ergebnisse ist festzulegen. Im dritten Schritt wird die Erhebung im Feld durchgeführt. Anschließend werden die gewonnenen Daten ausgewertet und Handlungen abgeleitet. Diese werden umgesetzt, und schließlich wird die Zielerreichung überprüft. (Vgl. Grieger 2008, S. 51f.)

Mystery Research | Zeitlicher Ablauf

Hinsichtlich des zeitlichen Ablaufs bei Mystery Research ist keine allgemeingültige Festlegung zu treffen. Je nach Umfang und Komplexität (z.B. bei einer Kreditberatung) kann die Konzeption mehrere Wochen in Anspruch nehmen. Die Dauer der Feldphase hängt vom Umfang ab. Sofern nur wenige Tests durchgeführt werden sollen, ist diese Phase zügig abgeschlossen. Die Dauer der Analyse hängt eng mit der Analysetiefe und dem Komplexitätsgrad der Erhebung zusammen. Sind lediglich dichotome Bewertungen (z.B. ja/nein) abzugeben, ist die Analyse zügig abzuschließen. Bei Bewertungen, die auf einer mehrstufigen Skala erfolgen, ist für die Analyse eine längere Dauer anzusetzen. Insbesondere die Konzeptionsphase sollte nicht zu kurz angesetzt werden. Lediglich dichotome Items in Form von Ja/Nein-Beobachtungen anzusetzen, wird der Leistungsfähigkeit der Methode nicht gerecht. Bei der Konzeption sollte ein Experte zu Rate gezogen werden, der die Ziele der Erhebung in einem Beobachtungsbogen umsetzt, der die Gewinnung von handlungsrelevanten Informationen ermöglicht.

Mystery Research | Konzeption

Die Leistungsfähigkeit einer Mystery Research Erhebung ist vor allem von der Handlungsrelevanz der gewonnenen Informationen abhängig. Für den erfolgreichen Einsatz der Methode sind im Rahmen dieser Phase vier unterschiedliche Anforderungen und jeweils entsprechende Voraussetzungen zu erfüllen.

• Mystery Shopping soll das tatsächliche Verhalten eines Mitarbeiters in einer Kundenkontaktsituation ermitteln.
  
  
  • Die Kundenkontaktsituation soll möglichst realitätsnah konstruiert werden.
  • Die Mystery Shopper sollen die Charakteristika typischer Kunden aufweisen.
  • Mystery Shopper sollen sich wie normale Kunden verhalten.
  • Mystery Shopper sollen hinsichtlich des Ablaufs der Testkaufsituation und des Verhaltens eines realen Kunden geschult werden.
• Mystery Shopping soll ein umfassendes Bild der Dienstleistungsqualität liefern.
  
  
  • Der Dienstleistungsprozess soll in seine einzelnen Phasen zerlegt werden, für die Beobachtungskriterien festzulegen sind.
• Mystery Shopping soll die konkrete, subjektive Qualitätswahrnehmung eines realen Kunden erfassen.
  
  
  • Der Beobachtungsbogen soll konkrete Erlebnisinformation und nicht abstrakte Dienstleistungsdimensionen beinhalten.
  • Die Erlebnisse sind unmittelbar nach der Testkaufsituation aufzuzeichnen, um einen Informationsverlust zu verhindern.
• Mystery Shopping soll die Qualitätswahrnehmungen eines Kunden reliabel und valide messen.
  
  
  • Der Beobachtungsbogen ist klar zu strukturieren und das Szenario klar zu beschreiben.
  • Individuelle und situationsspezifische Faktoren der Mystery Shopper sind bei der Untersuchungsplanung zu berücksichtigen.
  • Beobachtungsspielräume sind durch ausreichende Operationalisierung der Konstrukte einzuschränken.
  • Es ist auf eine angemessene Anzahl an Bewertungskategorien zu achten, um die Erinnerung der Mystery Shopper nicht zu überfordern.
  • Es sind ausreichend hohe Fallzahlen zu erbringen.

(Vgl. Matzler/Kittinger-Rosanelli 2000, S. 226ff.)

Mystery Research | Auswertung

Ausgehend von der übergeordneten Zielsetzung werden bei einer Mystery Research Untersuchung handlungsrelevante Informationen gewonnen. Damit diese Informationen in konkrete Handlungen umgesetzt werden können, bieten sich unterschiedliche Werkzeuge zur Analyse und Darstellung an.

Die Ergebnisse einer Untersuchung können unterschiedliche Adressaten haben. Während Mitarbeiter auf Filialebene besonderes Interesse haben, die in ihrer Filiale erhobenen Daten in Form von Einzelfallreports einzusehen, ist es auf Managementebene interessant, über aggregierte Werte informiert zu werden.

Die Aggregation von gewonnenen Informationen kann beispielsweise durch Indizes erfolgen. Für jedes Item, jedes Untersuchungsthema bis hin zu einem Gesamtindex können Werte ermittelt werden, die optional mit einer Gewichtung für besonders herauszustellende Items oder Themen versehen werden können. Themenspezifische Indizes liefern im Rahmen einer Stärken-Schwächen-Analyse rasch Informationen über handlungsrelevante Bereiche. Die zusätzliche Verwendung von Schwellenwerten, die nicht unterschritten werden dürfen, können die Handlungsrelevanz besonders verdeutlichen. Ferner sind die ermittelten Werte von Filialen oder Regionen durch die Aggregation leichter miteinander und an einem gemeinsamen Mittelwert vergleichbar. Es kann beispielsweise ein Ranking erstellt werden, welches sich an einem oder verschiedenen aggregierten Werten orientiert.

Zur Analyse von Stärken und Schwächen scheinen aggregierte Werte besonders geeignet. Der Blick wird dabei auf besonders extreme Werte gerichtet. Mit dem Einsatz von Schulungs- und Weiterbildungsmaßnahmen kann eine Verbesserung der Werte angestrebt und deren Erfolg letztlich auch überprüft werden. Stehen Vergleichswerte anderer Unternehmen zur Verfügung, lässt sich überprüfen, wo der Wettbewerb besser oder schlechter ist. Dies gewinnt dann an Bedeutung, wenn ein Unternehmen beispielsweise überprüfen möchte, ob das gesteckte Ziel der Qualitätsführerschaft im Service erreicht wurde. Die ermittelten Werte können aber nicht nur zu Vergleichszwecken ermittelt werden. Auch eine Kopplung mit leistungsabhängigen Gehaltsbestandteilen ist möglich, so dass die Erhebung eine Konsequenz für die Mitarbeiter hat und einen Leistungs- und Motivationsanreiz stiftet. Die unternehmensweite Veröffentlichung der ermittelten Mystery Shopping Werte kann sich positiv auf den Teamgeist und die Zusammenarbeit innerhalb von Filialen auswerten. Dies kann durch materielle Anreize für Filialen mit besonders guten Ergebnissen gefördert werden. (Vgl. Grieger 2008, S. 68f.)