WissenschaftlerInnen sind kluge Menschen. Doch auch kluge Menschen sind nicht vor kognitiven Denkfehlern gefeit. Sie sprechen auf Anreize an, die einer rationalen Wissensgenerierung entgegenwirken. Folglich sollte davon ausgegangen werden, dass ein Experiment auch von den Durchführenden selbst verfälscht werden kann.

Der Experimenter Bias kann sich in verschiedenen Abschnitten der Forschungsarbeit negativ auswirken:

1. Einlesen in das Themengebiet
Der Publication Bias kann dazu führen, dass vermehrt positive Zusammenhänge veröffentlicht werden. Eine derart verzerrte Fachliteratur verfälscht die Prämissen der wissenschaftlichen Leserschaft.

2. Auswählen und Konkretisieren des Studiendesigns
Die Wahl von Format und Konzept kann den wissenschaftlichen Prozess beeinträchtigen. So werden beispielsweise Probandengruppen oftmals schlecht gewählt (Selection Bias). Einen interessanten Spezialfall dieses systematischen Fehlers stellt das Berkson’s Paradox dar.

3. Durchführen des Experiments
Im medizinischen Bereich kann die Persönlichkeit der durchführenden Fachpersonen Einfluss auf das Studienresultat haben. Auch können Verzerrungen auftreten, wenn sich StudienteilnehmerInnen der Studie entziehen und die austretenden Personen sich von den restlichen TeilnehmernInnen signifikant unterscheiden.

4. Messen des Outcomes
Das Erwarten oder Befürchten bestimmter Resultate kann die Messung der Parameter beeinflussen. Ein Problem stellt dabei die oft intuitiv angewendete positive Teststrategie dar. Dabei handelt es sich um die Suche nach Daten, welche die eigene Hypothese bestätigen. Weshalb es jedoch sinnvoll wäre, vordefinierte Hypothesen zu falsifizieren zu versuchen, zeigt die berühmte 2-4-6-Aufgabe von Peter Wason.

5. Analysieren der Daten
Beim Data Dredging oder Data Fishing werden Daten nach allen möglichen Korrelationen durchkämmt, um dann einen zufällig aufgetretenen Zusammenhang zu präsentieren, ohne diese neue Hypothese isoliert zu testen. Das Untersuchen von Daten ohne eine vorgängig formulierte Hypothese – eine sogenannte Prior Hypothesis – sollte bloss der Bildung neuer Hypothesen dienen.

6. Beim Interpretieren der Analyse
In diesem Schritt liegt der Cognitive Dissonance Bias vor, wenn der Glaube an einen Mechanismus durch widerlegende Evidenz gestärkt wird.

7. Veröffentlichen der Resultate
Auch hier wurde ein spezifischer Bias definiert: Publication Bias: Ungeschick oder Absicht?¹

Es gibt Hinweise darauf, dass Rationalität lernbar ist². Das bewusste Trainieren der Identifikation und Korrektur von Biases könnte WissenschaftlerInnen helfen, ihre Fehlerquote in den verschiedenen Abschnitten des Forschungsprozesses zu senken.