Was taugen synthetische Nutzer?

Was sind synthetische Nutzer? Peter Rochel von Oberwasser Consulting und führender „Jobs-to-be-Done“-Experte ist in dieser Folge erneut bei Tim zu Gast und erklärt was genau synthetische Nutzer sind und was sie taugen. Klassische Jobs to be done Interviews liefern tiefe Einblicke, kosten aber viel Zeit. Ein Gespräch dauert rund anderthalb Stunden (je nach B2C oder B2B) und die Auswertung schluckt noch einmal das Doppelte. Kein Wunder, dass KI als Abkürzung lockt. Bei synthetischen Nutzern übernimmt ein Sprachmodell die Rolle des Kunden, ein zweiter Bot führt das Interview. Peter Rochel nennt das Ergebnis „Synterview“, eine Mischung aus synthetisch und Interview. Schon seit 2023 probiert er das intensiv aus, zunächst mit Custom GPTs, die sein gesamtes Beratungswissen kennen, inzwischen mit agentischer KI.

Die Ergebnisse überraschen durchaus positiv. Beim Nachstellen echter Projekte liefern synthetische Nutzer brauchbare Muster, vor allem bei den Pains und Gains in Bezug auf die Jobs für die sie Produkte und Services „beauftragen“. Trotzdem bleibt ein ungutes Gefühl, denn die Antworten klingen zwar plausibel, wirken aber oft so glatt als stünden sie in einem Marketingprospekt. Hinzu kommt die Neigung der Modelle zu halluzinieren, was sich je nach Anbieter unterscheidet. Peter Rochel empfiehlt: Wer ernsthaft damit arbeiten möchte, baut am besten mehrere Kontrollschichten ein und gleicht alles ab, was sich automatisch prüfen lässt. Ohne Interviewerfahrung fällt es jedoch schwer, solche Schwächen überhaupt zu bemerken. Wobei wir wieder bei einer der Kernthesen der Arbeit mit AI Systemen wären: Du musst wissen „How good looks like“!

Die Grenze liegt für Peter bei den Auslösern von Progress. Warum jemand genau in diesem Moment wechselt, bleibt für synthetische Nutzer fast unerreichbar. Trigger Events wie ein Umzug, eine Trennung oder die Geburt eines Kindes erklären z.B., warum jemand plötzlich den höhenverstellbaren Schreibtisch kauft, über den er seit Jahren nachdenkt. Ein Modell kennt nur, was in seinen Daten steckt. Wirklich Neues entdeckt es nicht, und Verhalten sagt es kaum voraus. Deshalb lohnt die Kombination: Synthetische Interviews liefern allgemeine Muster, echte Gespräche den spezifischen Kontext. Beim Aufbau des Kandidatensets hilft die Taguchi Methode, die gezielt die Ausreißer an den Rändern abdeckt, denn dort steckt der größte Lerneffekt.

Billiger sind synthetische Interviews nicht in jedem Fall. Der echte Hebel liegt in der Auswertung. Wo früher drei gut ausgebildete Personen eine Woche lang Muster aus zehn Interviews herausarbeiten, erledigt die KI das in wenigen Stunden, und selbst 200 Euro für Token fallen da kaum ins Gewicht. Die Projektkosten sinken so auf rund 16.000 Euro – früher lagen sie fast beim Dreifachen. Vollautomatische Anbieter aus Nordamerika liefern fertige Studien in Minuten, verlangen dafür aber etwa 30.000 Dollar im Jahr. Auftraggeber trauen synthetischen Ergebnissen zudem weniger, denn ein echter Mensch mit echter Erfahrung berührt stärker als eine Berechnung.

Dazu kommt der Aufbau von Empathie bei der Auswertung. Teams, die Muster selbst auswerten, verinnerlichen die Sicht ihrer Kunden. Eine automatisierte Auswertung, die man nur überfliegt, ersetzt das nicht. Zwei Charts in einer Präsentation reichen nicht, um zu wissen, wie Kunden ticken.

Sinnvoll sind synthetische Nutzer laut Peter Rochel in jedem Fall dort, wo echte Kandidaten fehlen: z.B. bei speziellen Kontexten wie bei einer Plattform für Erwachsenenunterhaltung oder bei sehr vermögenden Personen mit speziellem Sicherheitsverhalten. Aber natürlich auch bei kleinen Unternehmen mit knappem Budget. Dort ist ein günstiger Einstieg besser als gar keiner, solange man weiß, dass er nur der Anfang ist.

Doch sollte jetzt jeder auf synthetische Interviews umsteigen? Wer kann, führt Interviews weiter selbst und lässt sich bei der Auswertung von KI helfen, denn dort steckt der meiste Aufwand. Fehlen Zugang oder Know how, taugen eingekaufte Interviews synthetischer Nutzer als Start. Vorher steht immer die Frage nach dem Ziel: Was soll sich ändern, wenn die Erkenntnisse vorliegen? Bleibt die Antwort offen, spart man sich das Projekt besser.

Frühere Folgen mit Peter Rochel:

• Mit „Jobs-to-Be-Done“ zu mehr Kundenverständnis
• Progress Design Map

Weitere Folgen die gut zum Thema passen:

• Meine Erfahrungen als Product Owner von JOYclub
• Erfolgreiche Nutzerinterviews führen
• User Feedback mit Kundeninterviews einholen

Im Gespräch erwähnt Peter verschiedene Studien:

• KI vs. Mensch, mit dem Fall aus 2020: Was passiert, wenn KI dieselben Kundeninterviews auswertet wie ein erfahrenes Team?
• Alle Beiträge zu JTBD und Kundenverständnis
• Das angesprochene Interview zum Schreibtischkauf, ungeschnitten
• Die spannende E-Bike-Fallstudie: Ein Produkt. Acht Käufer. Acht verschiedene Gründe.
• Sehr zu emfpehlen ist auch sein langlähriger Podcast Innovate+Upgrade: 100 Episoden Inspiration für Innovation und Strategie

Oberwasser Consulting bietet wie im Gespräch erwähnt auch die Möglichkeit, eure Interviews auszuwerten, die ihr selbst geführt habt: Du hast die Interviews geführt. Wir werten sie aus.

Wenn ihr weitere Fragen an Peter habt oder ihm seinem Content folgen wollt, findet ihr ihn auf LinkedIn.