KI statt Mitarbeiter – so schlägt sich der Klarna-Chatbot im Test
40 Millionen Dollar will der Payment-Anbieter Klarna durch seinen Chatbot im Kundenservice einsparen, 700 Mitarbeiterinnen und Mitarbeiter ersetzen. Doch wie gut antwortet die Künstliche Intelligenz? Finance Forward hat den Bot mit Fragen gelöchert.
Die Zahl, die Klarna Ende Februar präsentierte, klingt beeindruckend: 2,3 Millionen Anfragen soll der eigene Chatbot in nur einem Monat beantwortet haben – und dabei laut dem Bezahldienst auch noch mit richtig guten Ergebnissen. Die Kundenzufriedenheit, so heißt es bei dem schwedischen Fintech, liege „gleichauf“ mit menschlichen Agenten, zugleich sei die Künstliche Intelligenz präziser und schneller.
Es passt zu dem Narrativ, das Klarna-Gründer Sebastian Siemiatkowski seit einigen Monaten erzählt: Künstliche Intelligenz ersetze künftig die Arbeit von vielen Menschen bei Klarna. Grafiken sollen mit KI-Tools wie Dall-E erstellt werden und der Kundenservice mit 700 Mitarbeiterinnen und Mitarbeiter weniger auskommen. 40 Millionen US-Dollar will das Payment-Unternehmen allein im Jahr 2024 damit sparen. Gerade mit Blick auf den wohl bald anstehenden Börsengang gewinnen die Meldungen an Bedeutung, die Firma selbst nennt sich mittlerweile: „KI-gestütztes globales Zahlungsnetzwerk“.
Keine vorprogrammierten Textblöcke, sondern echte Antworten
Wer den Klarna-Chat über den Webbrowser oder die App ansteuert, bekommt zunächst die Information, dass er oder sie es hier mit einem Chatbot zu tun hat. Sollte der nur unbefriedigende Antworten geben, verweist die KI dann auf einen Mitarbeiter, mit dem sich ebenfalls chatten lässt. Das ist ehrlich und beugt sicherlich einige Irritationen vor. Wichtig ist zudem die Information: Es sind erst einmal alle Fragen erlaubt. Der Inhalt der Nachrichten hat keinen Einfluss auf die eigene Bonität oder die Möglichkeit, bestimmte Zahlarten zu nutzen, versichert der Bot auf Nachfrage.
Wer der Klarna-KI eine Frage stellt, sollte zunächst ein wenig Geduld mitbringen. Anders als bei billigen FAQ-Chatbots generiert die Webseite oder App die Antwort tatsächlich minutenaktuell und schmeißt nicht vorprogrammierte Textblöcke aus. Das führt dazu, dass so eine Antwort der KI stückchenweise kommt, ganz so, als würde mein Gegenüber das genauso tippen in diesen Sekunden. Für einfache Antworten geht das recht fix, bei längeren Antworten und mehreren Absätzen kann das auch mal dauern. Die Antwort auf die Frage „Wie sind bei diesem Kauf die Rückgaberichtlinien?“ hat drei Absätze und dauert, bis sie vollständig im Chatfenster erscheint, 31 handgestoppte Sekunden. Manchmal tippt die KI Antworten bei mir zwei Mal, das kann aber auch ein Browserproblem oder Bug sein.
Sind alle Rechnungen bezahlt?
Inhaltlich werden zwei Dinge sehr schnell deutlich: Der Chatbot spricht die deutsche Sprache einwandfrei und ist damit schon einmal deutlich angenehmer zu bedienen als frühere Chatbots, die teilweise nur (gebrochenes) Englisch konnten. Er oder sie (Wie ist das bei so einem Chatbot eigentlich?) versteht zudem in den meisten Fällen, was ich von ihm will. Vorbei sind die Zeiten, in denen es hieß: „Entschuldigen Sie, das habe ich nicht verstanden, bitte klicken Sie auf Kästchen A, B oder C“. Selbst mit den Begriffen „Deutsch, Giraffe, eins, zwei, drei“ kann der Bot arbeiten und fragt mich neugierig: „Wie kann ich Ihnen mit Ihrer Anfrage zur Giraffe helfen?“
Doch wie gut kann der Bot mir bei persönlichen Fragen helfen, die ich nicht auch in den FAQ finde? Die Antwort ist: Es kommt drauf an. Als Testbeispiel dient ein Teppich, den ich vor einiger Zeit im Internet gekauft habe. Von Klarnas Wunder-Bot will ich wissen, ob ich meine Rechnung bezahlt habe (Ja, habe ich), ob noch Zahlungen offen sind (Nein, keine). Das ist für ihn kein Problem. Als ich Fragen zum Produkt ergänze, heißt es, ich solle mich an den Händler wenden. Leider fehlt in der Nachricht eine Kontaktmöglichkeit wie eine E-Mail oder eine Telefonnummer. Die finde ich erst durch Nachfragen raus.
In einem anderen Fall, in den Finance Forward Einblick bekommen hat, lief es dagegen weniger rund. Eine Retoure wurde vom Händler nicht hinterlegt, Klarna forderte den Rechnungsbetrag weiter und es fielen Mahngebühren an. Und der Chatbot? Verstand das Problem nicht. Erst ein Mensch konnte im Nachhinein das Problem lösen.
Allgemeinplätze statt konkreter Antwort
Auf die Frage, was ich denn generell alles dieses Jahr über und mit Klarna gekauft habe, darf mir die KI laut eigener Aussage ebenso wenig Auskunft geben wie auf die Frage nach Referenzcodes für Überweisungen. Das mag datenschutzrechtliche Hintergründe haben, ist für mich als Nutzer aber lästig, weil ich es dann (in einem anderen Fenster) selbst herausfinden muss. Alternativ kann ich mit einem Servicemitarbeiter sprechen, aber das hätte ich auch ohne KI gekonnt. Selbst wenn ich Stichpunkte dazu gebe, wie beispielsweise den Namen des Shops und das Jahr, in dem ich eingekauft haben könnte, stellt sich die KI quer. Na gut.
Allgemeine Fragen zu Klarna und seinen Bedingungen beantwortet der Chatbot ebenfalls ungern. Auf die Frage, was mich eine Überziehung meiner Kredite kostet, gibt es nur Allgemeinsätze à la: Es können Kosten entstehen und es ist immer sehr unterschiedlich. Das hilft mir ehrlicherweise wenig weiter, wenn ich wissen will, wie teuer mich die unbezahlte Rechnung denn nun kommt und wie hoch der Zinssatz sein könnte.
Auf diese Wörter reagiert die Klarna-KI empfindlich
Aufs Glatteis lässt sich der Bot eigentlich nie führen. Bei Fragen zu Schulden, Überschuldung und Inkassounternehmen verweist die KI mich sofort an Mitarbeiterinnen und Mitarbeiter, betont, wie wichtig und sensibel das Thema ist und rät mir, proaktiv nach Hilfe zu suchen. Das ist gerade bei solchen Themen sehr wichtig.
Auch bei der Frage, ob mich ein Inkassounternehmen finden würde, wenn ich ins Ausland fliehe oder ob ich meine Klarnaschulden einfach ignorieren könnte, geht es für mich direkt zum Servicemitarbeiter. Als ich frage, ob ein angeschlossener Klarna-Shop nicht ehrlicherweise ein ziemlicher Gaunerladen sei, steigt die KI nicht mit ein, sondern versucht, mich zu besänftigen.
Alles in allem kann ich mir gut vorstellen, dass der Chatbot viele unnötige Anfragen von den Servicemitarbeitern abhält. Gerade Fragen wie „Habe ich noch Schulden und wenn ja wo“ sind zudem prädestiniert dafür, von einer mittelklugen KI beantwortet zu werden. Dass sie mich in nahezu allen Belangen versteht, ist angenehm und gibt mir das Gefühl, dass sie nicht nur Textblöcke aus den FAQ vor die Füße geknallt bekomme. Für wirklich wichtige Fragen verweist sie aber noch recht häufig an Mitarbeiterinnen und Mitarbeiter.
Zwischendurch haben wir den Chatbot auch mal nach einem Witz zum Thema „Klarnaschulden“ gefragt. Das kam zurück:
„Warum hat der Computer keine Klarnaschulden?
Weil er immer alles sofort berechnet! Hoffentlich bringt das ein Lächeln auf Ihr Gesicht.“
Ein bisschen, liebe KI, ein bisschen.
