Website-Änderungen im KI-Tempo: Was in den Auftrag gehört
Sphinx-Flashdesign Logo
Geschrieben von
Sphinx-Flashdesign
Developers Signature Designers Signature
Datum
13.11.2026
Lesezeit
7 Min.
Wörter
1400
Wenn KI Website-Änderungen schneller baut, als man Kunden befragen kann, braucht der Auftrag an die Agentur einen neuen Baustein: die Erfolgsmessung.

Am 13. November 2026 hat die Nielsen Norman Group (NN/g), ein auf Usability (Gebrauchstauglichkeit) spezialisiertes Forschungs- und Beratungsunternehmen, den Fachartikel „Research-In-The-Loop: How UXR Adapts to Development at AI Speed“ veröffentlicht[1]. Autor Tony Alicea beschreibt darin, wie UX-Forschung (UXR, die Untersuchung, wie Menschen ein Produkt tatsächlich nutzen) mit einer Entwicklung mithalten kann, die KI beschleunigt[1].

Der Artikel richtet sich an Forschungs- und Produktteams. Was heißt das für kleine und mittlere Unternehmen (KMU), die Websites beauftragen? Unsere Übertragungen sind gekennzeichnet.

Website-Änderungen im KI-Tempo: Erfolgsmessung und Kundentests als fester Teil des Auftrags
Website-Änderungen im KI-Tempo: Was NN/g beobachtet

NN/g vergleicht die Lage mit dem Wechsel vom Film zur Digitalkamera: Statt jedes Bild sorgfältig vorzubereiten, drückt man ab, schaut und korrigiert. So arbeiten laut NN/g viele Teams mit Coding Agents, also KI-Werkzeugen, die selbstständig Code schreiben: bauen, veröffentlichen, beobachten, ändern[1].

Der Haken: Anders als ein misslungenes Foto erreicht ein misslungenes Release, also eine veröffentlichte Version, echte Menschen. Und ein Release zeigt, was passiert ist, aber selten, warum. Ein Dashboard verrät etwa, dass Menschen einen Ablauf abbrechen, aber nicht, was sie vorhatten oder was sie verwirrt hat[1].

„Das Falsche schnell zu bauen, ist immer noch ein Misserfolg.“
— Tony Alicea, Nielsen Norman Group (übersetzt)[1]
Research-in-the-Loop: Messen wird so billig wie Bauen

Der Kern: Was das Bauen billig macht, verbilligt auch Forschungswerkzeuge. Eine Kurzumfrage beim Abbruch eines Ablaufs, Ereignis-Protokolle oder ein Feedback-Knopf kosteten früher Entwicklerzeit. Heute kann ein Coding Agent sie laut NN/g oft aus wenigen Zeilen in den Anforderungen mitbauen[1].

So entsteht ein Kreislauf: Vor dem Bau hilft die Forschung festzulegen, was ein Release erfassen muss. Beim Bau setzen die KI-Werkzeuge diese Messung mit um. Nach dem Release wird ausgewertet, und die Erkenntnisse fließen in die nächsten Anforderungen[1]. NN/g unterscheidet dabei drei Aufgaben:

Bewerten
Hat die Änderung bewirkt, was erwartet wurde, oder absehbare Probleme ausgelöst? Dabei helfen vorab festgelegte Kennzahlen[1].
Untersuchen
Warum haben sich Menschen so verhalten? Auffälligkeiten in den Daten zeigen, wo man nachfragen sollte, oft im Gespräch oder Test[1].
Entdecken
Welche Bedürfnisse hat niemand vorhergesehen? Das braucht oft offene Forschung, die nicht unbedingt an Releases oder Messpunkte gebunden ist[1].

Messpunkte können Bewerten und Untersuchen effizienter machen, ersetzen laut NN/g aber nicht das unabhängige Entdecken[1]. NN/g nennt den Ansatz ausdrücklich einen Vorschlag mit offenen Fragen[1].

Erfolgsmessung gehört in den Auftrag, nicht in die Nachbesprechung

Konkret schlägt NN/g vor, den Anforderungen einer neuen Funktion einen Forschungsabschnitt in Klartext beizulegen, lesbar für Menschen und KI-Werkzeuge. Im Beispiel, einer Helpdesk-Software mit direkter Ticket-Weitergabe zwischen Abteilungen, hat er fünf Punkte[1]. Dahinter steht jeweils unsere Übertragung auf ein neues Anfrageformular.

Was wir erwarten
NN/g: Tickets erreichen schneller das richtige Team, mit weniger Übergaben[1]. Unser Beispiel: Das kürzere Formular bringt mehr vollständige Anfragen.
Woran wir Erfolg erkennen
NN/g: kürzere Zeit bis zur Lösung, weniger Tickets, die durch drei oder mehr Abteilungen laufen[1]. Unser Beispiel: mehr abgeschickte Anfragen je Formularaufruf.
Woran wir Probleme erkennen
NN/g: mehr zurückgeschickte oder von Kunden wieder geöffnete Tickets[1]. Unser Beispiel: mehr Anfragen, bei denen wichtige Angaben fehlen.
Was erfasst wird
NN/g: jede Übergabe, gruppiert nach Abteilung statt nach Person[1]. Unser Beispiel: Abbrüche je Formularschritt und Fehlermeldungen, ohne Einzelpersonen auszuwerten.
Wann wir mit Menschen sprechen
NN/g: Schickt eine Abteilung einen auffällig hohen Anteil der Tickets zurück, folgen Gespräche und Beobachtung am Arbeitsplatz[1]. Unser Beispiel: Steigen die Abbrüche an einem Schritt, lassen Sie einige Kunden das Formular unter Beobachtung ausfüllen.

NN/g schränkt ein: Der Abschnitt legt fest, was gemessen wird, beweist aber nicht, dass eine Veränderung von der neuen Funktion kommt statt etwa von der Saison. Dafür können Vergleichsgruppe, Stichprobengröße und Beobachtungszeitraum nötig sein[1].

Das Service-Handbuch der britischen Regierung rät ähnlich, Messgrößen beim Bauen festzulegen statt hinterher und sie immer mit Nutzerforschung zu kombinieren[2]. Unsere Empfehlung: Halten Sie die fünf Punkte schon im Angebot oder Pflichtenheft fest, nicht erst nach dem Livegang.

Analytics oder Gespräch: Zahlen zeigen das Was, nicht das Warum

Quantitative Daten, also gemessene Zahlen, decken laut NN/g nur ab, worauf ein Release ausgelegt wurde, und zeigen, was Menschen getan haben. Muster zu erklären und neue Bedürfnisse zu entdecken, erfordert qualitative Forschung, also Beobachtung und Gespräch[1]. Ein älterer NN/g-Überblick sagt: Qualitative Methoden eignen sich besser für das Warum und die Frage, wie man ein Problem behebt, quantitative für das Wie viele und Wie viel[3].

Für den qualitativen Teil nennt NN/g drei Wege: einen festen Rhythmus, etwa wöchentliche Sitzungen unabhängig von Releases; Signale, also Auffälligkeiten in Daten oder Feedback; und Entscheidungen, die schwer umkehrbar sind[1].

Für Usability-Tests, bei denen man Menschen beim Lösen typischer Aufgaben zusieht, nennt das britische Service-Handbuch meist 4 bis 8 Teilnehmende pro Runde[4]. Eine Testsitzung dauert dort meist 30 bis 60 Minuten[5]. A/B-Tests, bei denen zwei Versionen nach dem Zufallsprinzip gegeneinander laufen, brauchen dagegen viele Nutzer für statistisch belastbare Ergebnisse[6].

Unsere Einschätzung: Für die meisten KMU-Websites ist Analytics das Frühwarnsystem, ein kurzer Test mit Kunden liefert die Erklärung. Und laut NN/g gilt: Ein Agent baut eine Umfrage in Minuten, für die richtigen Fragen bleibt die forschende Person verantwortlich[1].

Vor dem Livegang prüfen: Preise, Checkout, Formulare, Daten

Als schwer umkehrbar nennt NN/g Preise, Versprechen an Kunden, den Umgang mit sensiblen Daten und ein neues mentales Modell, also wie Nutzer ein Produkt verstehen. Solche Entscheidungen verdienen Belege, bevor sich ein Team festlegt; Coding Agents können dafür schnell klickbare Prototypen bauen[1]. Unsere Einschätzung für typische Website-Änderungen:

ÄnderungVorher mit Kunden testenNur nachher messen
Preise, Versandkosten✓ Verstehen Kunden den Endpreis? Wer online an Verbraucher verkauft, muss angeben, ob Versandkosten anfallen, und deren Höhe, soweit vorab berechenbar[7]✗ Riskant: Preise sind laut NN/g schwer umkehrbar[1]
Checkout✓ Bestellung durchspielen lassen. Im Verbraucher-Shop muss der Bestellknopf gut lesbar „zahlungspflichtig bestellen“ oder eine entsprechend eindeutige Formulierung tragen[8]✗ Abbrüche zeigen, dass etwas hakt, nicht was[1]
Formulare✓ Ausfüllen beobachten: Wo stocken Menschen? Laut WCAG-Kriterium 3.3.1 sind bei automatisch erkannten Eingabefehlern das betroffene Feld zu kennzeichnen und der Fehler in Textform zu beschreiben[9]✗ Die Abbruchquote nennt die Stelle, nicht den Grund
Neue Datenabfragen, Tracking✓ Klären, ob Kunden die Angaben verstehen und machen wollen; der Umgang mit sensiblen Daten ist laut NN/g schwer umkehrbar[1]✗ Mehr Messpunkte lösen das nicht: Zu viel Instrumentierung kann sich laut NN/g wie Überwachung anfühlen[1]
Texte, Bilder, Reihenfolge✗ Meist nicht nötig✓ Leicht umkehrbar: messen, nachbessern, bei Auffälligkeiten nachfragen

Mit gestaffelten Rollouts und Feature-Flags (Schalter, die Funktionen nur für einzelne Gruppen freigeben) sollten sich laut NN/g auch Forschende auskennen[1]. Wie Sie schrittweise ausrollen, einen Rückweg einplanen und wann Mess-Werkzeuge nach § 25 TDDDG eine Einwilligung brauchen, zeigt unser Beitrag zu YouTubes Sidebar-Test.

Häufige Fragen zu Website-Änderungen und Nutzertests
Was gehört zur Erfolgsmessung in den Auftrag für eine neue Seite oder Funktion?

Nach dem NN/g-Vorschlag fünf Punkte: Erwartung, Anzeichen für Erfolg und für Probleme, was erfasst wird und wann Sie mit Menschen sprechen. Für belastbare Aussagen über Ursachen kann laut NN/g zusätzlich etwa eine Vergleichsgruppe nötig sein[1]. Unsere Ergänzung: Legen Sie fest, wer wann auswertet.

Reichen Analytics-Dashboards, um zu verstehen, warum Besucher abspringen?

Nein. Ein Dashboard zeigt laut NN/g, dass Menschen abbrechen, nicht aber, was sie vorhatten oder was sie verwirrt hat[1]. Das Warum klären qualitative Methoden wie Beobachtung und Gespräch[3].

Wann lohnt sich ein kurzes Gespräch oder Test mit echten Kunden statt nur Zahlen?

NN/g nennt drei Anlässe: einen festen Rhythmus, auffällige Signale und schwer umkehrbare Entscheidungen[1]. Für eine Runde braucht man laut britischem Service-Handbuch meist 4 bis 8 Personen[4]. Bei wenig Besuchern ist das aus unserer Sicht praktikabler als ein A/B-Test, der viele Nutzer braucht[6].

Welche Entscheidungen sollte man vor dem Livegang mit Nutzern prüfen?

Alles, was schwer umkehrbar ist, laut NN/g etwa Preise und der Umgang mit sensiblen Daten[1]. Auf Websites sind das aus unserer Sicht vor allem Preisdarstellung, Checkout, wichtige Formulare und neue Datenabfragen.

Können KI-simulierte Befragte echte Kundengespräche ersetzen?

Nur bedingt. In einem im Oktober 2026 veröffentlichten NN/g-Vergleich kamen 120 KI-simulierte Befragte bei der Frage, wie man UX-Arbeit nennt, zur selben Hauptaussage wie eine Umfrage unter 604 Fachleuten aus Tech und Design. Ihre Antworten waren aber deutlich einheitlicher, ungewöhnliche Begriffe fehlten ganz[10]. Wer Unerwartetes entdecken will, braucht deshalb aus unserer Sicht echte Menschen.

Quellen
  1. Nielsen Norman Group, Tony Alicea: Research-In-The-Loop: How UXR Adapts to Development at AI Speed (13.11.2026): nngroup.com
  2. GOV.UK Service Manual: How to set performance metrics for your service (05.12.2017): gov.uk
  3. Nielsen Norman Group: When to Use Which User-Experience Research Methods (17.07.2022, zuletzt geprüft 15.07.2026): nngroup.com
  4. GOV.UK Service Manual: Plan user research for your service (14.03.2016, aktualisiert 15.10.2026): gov.uk
  5. GOV.UK Service Manual: Using moderated usability testing (21.02.2017, aktualisiert 03.10.2017): gov.uk
  6. Office for Health Improvement and Disparities (GOV.UK): A/B testing: comparative studies (30.01.2020, aktualisiert 03.09.2020): gov.uk
  7. Bundesministerium der Justiz: Preisangabenverordnung, § 6 Preisangaben bei Fernabsatzverträgen (abgerufen 13.11.2026): gesetze-im-internet.de
  8. Bundesministerium der Justiz: Bürgerliches Gesetzbuch, § 312j Besondere Pflichten im elektronischen Geschäftsverkehr gegenüber Verbrauchern (abgerufen 13.11.2026): gesetze-im-internet.de
  9. W3C WAI: Understanding Success Criterion 3.3.1: Error Identification, WCAG 2.2 (abgerufen 13.11.2026): w3.org
  10. Nielsen Norman Group: Synthetic Users vs. Human Respondents: Same Conclusion, Less Variation (16.10.2026): nngroup.com
Soll Ihre nächste Website-Änderung bei Kunden ankommen?
Wir gestalten und testen Websites mit Blick auf Ihre Nutzerinnen und Nutzer, von klickbaren Prototypen bis zu frühen Tests, bevor programmiert wird. Mehr zu unserem UX/UI-Design.
Jetzt Kontakt mit uns aufnehmen
Tags: