Bericht zu Unterschiedsprüfungen
Das statistische Ergebnis von Dreiecksprüfung, Paarvergleich (2-AFC) und Duo-Trio-Prüfung: wie viele richtige Antworten nötig sind, um einen Unterschied zu bestätigen.
Was ist das?
Der Bericht zu Unterschiedsprüfungen ist das Ergebnis der Prüfungen, die eine einzige Frage beantworten: Unterscheidet das Panel eine Probe von einer anderen? Er gilt für drei Prüfverfahren:
- Dreiecksprüfung (ISO 4120): drei Proben, die Prüfperson zeigt die abweichende an.
- Paarvergleich (2-AFC) (ISO 5495): zwei Proben, die Prüfperson zeigt an, welche ein Kriterium erfüllt.
- Duo-Trio-Prüfung (ISO 10399): eine Referenz und zwei Proben, die Prüfperson zeigt an, welche der Referenz entspricht.
Anders als bei der deskriptiven Verkostung gibt es hier kein Netzdiagramm und kein Profil: Das Ergebnis ist ein binomialer Test mit der Verteilung der Antworten des Panels.
Zugang
- URL:
https://app.areacacao.com/sensory-analysis/evaluations/<id> - So kommst du hin: Öffne die Unterschiedsprüfung unter Prüfungen und scroll zum Bereich Ergebnisse.
Tarif Pro oder höher oder ein Verkostungspaket mit Guthaben.
Was der Bericht zeigt
Zusammenfassungszeile
Sie steht am Anfang des Berichts, mit der Methode der Prüfung, der Zahl der Antworten des Panels und der Ratewahrscheinlichkeit der Prüfung.
Die Wahrscheinlichkeit, rein zufällig richtig zu liegen, hängt von der Prüfung ab:
| Prüfung | Zufall |
|---|---|
| Dreiecksprüfung | 1 von 3 (33 %) |
| Paarvergleich (2-AFC) | 1 von 2 (50 %) |
| Duo-Trio-Prüfung | 1 von 2 (50 %) |
In der Zusammenfassungszeile des Berichts zeigt die App die Methode mit der genauen Beschriftung Paarvergleich (2-AFC).
Ergebnis
Ein hervorgehobenes Feld mit dem Ergebnis des Binomialtests über die richtigen Antworten des Panels:
- Signifikanter wahrnehmbarer Unterschied (p < 0,05): Das Panel hat den Unterschied über den Zufall hinaus erkannt.
- Kein signifikanter Unterschied: Die richtigen Antworten liegen nicht über dem, was der Zufall erwarten lässt; es lässt sich nicht sagen, dass das Panel die Proben unterscheidet.
Darunter stehen die Zahl der richtigen Antworten von der Gesamtzahl und die Werte des Tests (p = ..., α = ...).
Damit es ein Ergebnis gibt, musst du beim Anlegen der Verkostung markiert haben, welche Probe die abweichende war (die Referenzwahrheit). Hast du das nicht getan, zeigt der Bericht nur die Verteilung der Antworten mit dem Hinweis: „Verteilung der Antworten des Panels. Für das statistische Ergebnis musst du beim Anlegen der Verkostung markieren, welche Probe die abweichende war.“
Verteilung der Antworten je Probe
Ein Balkendiagramm, wie oft das Panel jede Probe gewählt hat. Die richtige Probe ist kupferfarben hervorgehoben. Das erwartete Zufallsniveau (der Anteil richtiger Antworten, den man ohne jede Unterscheidung erhielte) steht in der Fußzeile des Diagramms, nicht als Linie über den Balken. Liegt der Balken der richtigen Probe deutlich über diesem Zufallsanteil, unterscheidet das Panel.
Fußzeile des Diagramms im Wortlaut:
Verteilung der Antworten des Panels. Die Zufallslinie liegt bei X % richtigen Antworten durch reinen Zufall; die richtige Probe ist kupferfarben hervorgehoben.
Effektstärke und Teststärke
Der Binomialtest sagt dir, ob es einen Unterschied gibt, aber nicht, wie groß er ist oder ob dein Panel groß genug ist, um ihn sicher nachzuweisen. Dafür ergänzt der Bericht drei Kennwerte:
| Kennwert | Bedeutung |
|---|---|
| Wahre Unterscheidung (pd) | Geschätzter Anteil der Grundgesamtheit, der die Proben tatsächlich unterscheidet. Er ergibt sich, indem man die beobachteten richtigen Antworten um die zufällig erwarteten korrigiert (Abbott-Korrektur): Wer nur zufällig richtig lag, wird abgezogen, übrig bleiben die echten Unterscheider. Das ist die Effektstärke der Prüfung. |
| Beobachtete Unterscheidung (pc) | Beobachteter Anteil richtiger Antworten: die richtigen Antworten des Panels von der Gesamtzahl der Antworten, ohne Korrektur. Das ist der Rohwert, von dem die Berechnung von pd ausgeht. |
| Empfohlenes n | Erscheint als Satz „Um diesen Effekt mit 80 % Teststärke nachzuweisen, werden ca. N Bewertungen empfohlen.“ Das ist die Panelgröße, die für 80 % Teststärke nötig ist, also für eine Wahrscheinlichkeit von 80 %, einen Unterschied der geschätzten Größe zu erkennen, wenn es ihn wirklich gibt. |
Ist die Gesamtzahl der Antworten kleiner als das empfohlene n, reicht das aktuelle Panel möglicherweise nicht aus: Auch wenn das Ergebnis „nicht signifikant“ lautet, hatte die Prüfung nicht genug Teststärke, um den Unterschied auszuschließen. Der Bericht weist dich darauf hin. Nimm mehr Prüfpersonen oder mehr Wiederholungen dazu, bevor du schließt, dass sich die Proben nicht unterscheiden lassen.
So liest du ihn
- Ein Ergebnis mit signifikantem Unterschied bestätigt, dass die getestete Änderung (Lieferant, Charge, Technik) wahrnehmbar ist.
- Ein Ergebnis ohne signifikanten Unterschied beweist nicht, dass die Proben identisch sind: Es bedeutet, dass mit diesem Panel und dieser Zahl an Antworten kein Unterschied erkannt wurde. Ein größeres Panel gibt dem Test mehr Teststärke.
Nächste Schritte
Präferenzverteilung
Das hedonische Histogramm, das zeigt, wie viele Prüfpersonen welche Punktzahl auf der Peryam-Skala 1–9 vergeben haben und wo der Mittelwert liegt.
Bericht zur Rangordnung
Die Auswertung der Rangordnungsprüfung (ISO 8587): Friedman-Test, Tabelle der Rangsummen und homogene Buchstabengruppen.