Studienqualität bewerten: 5 Schritte zur Evidenzprüfung
Eine randomisierte Studie kann formal sauber aussehen und dennoch keine belastbare Aussage für die Praxis liefern. Ein signifikanter p-Wert genügt nicht.
Er beschreibt zunächst nur die Vereinbarkeit der beobachteten Daten mit einer Nullhypothese unter bestimmten Modellannahmen. Er bewertet weder die klinische Relevanz eines Effekts noch Verzerrungen im Studiendesign noch die Übertragbarkeit auf andere Patientengruppen.
Die Kriterien für Studienqualität in der Medizin folgen deshalb keiner Einzelfrage. Sie bilden eine Prüfungskette: Ist die Frage präzise? Wurde vollständig gesucht? Ist das Design gegen Bias abgesichert? Wie sicher ist der Effekt? Und passt er auf die konkrete Anwendung? Das etablierte Fünf-Schritte-Modell der evidenzbasierten Medizin strukturiert genau diesen Prozess.
Das Fünf-Schritte-Modell: Von der klinischen Frage zur überprüften Anwendung
Die Bewertung von Studienqualität beginnt nicht mit dem Abstract einer Publikation. Sie beginnt mit der Frage. Ohne definierte Zielpopulation, Intervention und Endpunkt wird jede Literaturrecherche selektiv. Dann werden Studien bevorzugt, die eine vorgefasste Annahme stützen.
Das Fünf-Schritte-Modell der evidenzbasierten Medizin umfasst:
1. Frage formulieren: Das Problem wird in eine klinisch prüfbare Frage übersetzt. Das PICO-Schema ordnet vier Elemente: Population, Intervention, Vergleich und Ergebnisparameter. Bei einer Untersuchung zu einem mineralischen Adsorbens wäre etwa zu unterscheiden: gesunde Probanden oder Patienten, orale Einnahme oder lokale Anwendung, Placebo oder Standardtherapie, Laborparameter oder klinisch relevante Beschwerden.
2. Evidenz recherchieren: Die Suche muss dem Fragetyp entsprechen. Für Wirksamkeitsfragen stehen randomisierte kontrollierte Studien und systematische Übersichtsarbeiten im Vordergrund. Für seltene unerwünschte Wirkungen können Kohorten- und Fall-Kontroll-Studien relevanter sein. Eine einzelne positive Studie ist keine vollständige Evidenzbasis.
3. Evidenz kritisch bewerten: Hier werden Studiendesign, Randomisierung, Verblindung, fehlende Daten, Endpunkte und statistische Präzision geprüft. Dieser Schritt trennt berichtete Ergebnisse von belastbaren Ergebnissen.
4. Evidenz anwenden: Ein statistisch nachweisbarer Effekt ist nur dann klinisch verwertbar, wenn Population, Intervention und Versorgungssituation zur konkreten Fragestellung passen. Bioverfügbarkeit, Dosierung, Begleitmedikation und Ausgangsrisiko können die Übertragbarkeit wesentlich verändern.
5. Vorgehen evaluieren: Die Entscheidung und ihr Ergebnis werden überprüft. Treten andere Effekte auf als erwartet? War der gewählte Endpunkt für die tatsächliche Situation aussagekräftig? Ergibt neue Forschung eine andere Gewichtung?
Diese Reihenfolge ist nicht bürokratisch. Sie verhindert einen typischen Fehler in der Bewertung klinischer Studien: Erst ein erwünschtes Ergebnis lesen und anschließend nach einer Begründung suchen.
Studienqualität ist kein Etikett einer Publikation. Sie ist das Resultat einer nachvollziehbaren Prüfung von Frage, Design, Daten und Übertragbarkeit.
PICO präzisiert, was eine Studie überhaupt beantworten kann
Das PICO-Schema reduziert scheinbar ähnliche Studien auf ihre messbaren Unterschiede. Gerade im Bereich Nahrungsergänzung, Mineralstoffe und gastrointestinal wirksame Substanzen ist das entscheidend. „Zeolith verbessert die Entgiftung“ wäre keine prüfbare Studienfrage. Es fehlen Population, Exposition, Vergleich und Endpunkt.
Eine methodisch brauchbare Fragestellung könnte dagegen lauten: Führt eine definierte orale Dosis eines standardisierten Klinoptilolith-Präparats bei einer klar beschriebenen Population gegenüber Placebo zu einer Veränderung eines vorher festgelegten Laborparameters innerhalb eines definierten Zeitraums?
Das klingt eng. Es muss eng klingen. Je unschärfer die Ausgangsfrage, desto mehr Interpretationsspielraum entsteht bei Auswahl, Messung und Deutung der Daten.
| PICO-Element | Methodische Frage | Typischer Fehler |
|---|---|---|
| Population | Wer wurde eingeschlossen und wer ausgeschlossen? | Ergebnisse von gesunden Freiwilligen auf Patienten übertragen |
| Intervention | Welche Substanz, Dosis, Partikelgröße und Einnahmedauer wurden verwendet? | Produkte mit unterschiedlicher Zusammensetzung gleichsetzen |
| Vergleich | Gegen was wurde geprüft: Placebo, keine Behandlung oder Standardtherapie? | Einen Effekt ohne geeignete Kontrollgruppe interpretieren |
| Endpunkt | Was wurde vor Studienbeginn als primäres Ergebnis definiert? | Laborveränderungen als klinischen Nutzen ausgeben |
Bei mineralischen Adsorbentien kommen zusätzliche Parameter hinzu. Die Adsorptionskapazität ist abhängig von Kristallstruktur, Kationenaustausch, Partikelgröße, Kontaktzeit, pH-Wert und Matrix. Eine in vitro nachgewiesene Bindung eines Ions belegt weder eine relevante Bindung im menschlichen Darm noch eine klinisch relevante Wirkung. Zwischen Laborversuch und Humanstudie liegen Resorption, Darmpassage, Nahrungsinteraktionen und individuelle Stoffwechselvariabilität.
Interne und externe Validität: Zwei getrennte Prüfgrößen
Die Studienqualität klinischer Studien wird häufig auf Randomisierung und Verblindung reduziert. Das betrifft die interne Validität. Sie beantwortet eine enge Frage: Ist der beobachtete Unterschied zwischen den Gruppen wahrscheinlich durch die Intervention verursacht, oder kann er durch systematische Fehler erklärt werden?
Externe Validität beantwortet eine andere Frage: Lässt sich das Ergebnis auf andere Menschen, andere Versorgungssituationen und andere Präparate übertragen?
Eine Studie kann intern sehr valide sein und extern nur begrenzt nutzbar bleiben. Das ist kein Widerspruch. Eine Untersuchung mit eng ausgewählten Teilnehmern, strenger Einnahmekontrolle und kurzer Beobachtungsdauer kann Kausalität gut prüfen. Sie sagt damit aber nicht automatisch, wie sich das Ergebnis bei multimorbiden Patienten, langfristiger Anwendung oder abweichender Produktqualität verhält.
Die zentralen Unterschiede lassen sich klar trennen:
| Prüfbereich | Interne Validität | Externe Validität |
|---|---|---|
| Kernfrage | Wurde der Effekt kausal korrekt ermittelt? | Ist der Effekt auf den klinischen Alltag übertragbar? |
| Hauptgefahren | Selektionsbias, Performance-Bias, Messbias, Ausfälle | Zu enge Einschlusskriterien, künstliche Studiensituation, andere Intervention |
| Typische Schutzmaßnahmen | Randomisierung, Verblindung, vollständige Ergebnisdaten | Repräsentative Population, praxisnahe Vergleichstherapie, ausreichende Beobachtungszeit |
| Häufiger Fehlschluss | „Randomisiert“ bedeutet automatisch fehlerfrei | „Praxisnah“ bedeutet automatisch kausal belastbar |
Besonders sorgfältig ist die Definition des Endpunkts zu lesen. Ein Surrogatendpunkt kann biologisch plausibel sein, ohne einen patientenrelevanten Nutzen nachzuweisen. Eine Veränderung eines Biomarkers ist nicht mit weniger Beschwerden, besserer Funktion oder geringerer Krankheitslast gleichzusetzen. Das gilt für Entzündungsmarker ebenso wie für oxidativen Stress, Spurenelementkonzentrationen oder Ausscheidungsparameter.
Wenn eine Intervention die Konzentration eines Stoffes im Urin verändert, sind mindestens drei Fragen offen: Wurde die Gesamtaufnahme kontrolliert? Wurde die Kreatinin- oder Volumenkorrektur angemessen durchgeführt? Und besteht ein Zusammenhang zwischen diesem Laborwert und einem klinisch relevanten Ergebnis? Ohne diese Einordnung bleibt die Aussage begrenzt.
Bias-Risiko bei randomisierten Studien mit RoB 2 prüfen
Für randomisierte kontrollierte Studien ist das Cochrane-Instrument RoB 2 der methodische Standard zur Bewertung des Verzerrungsrisikos. Es liefert keine Punktzahl für eine Studie. Es prüft fünf Domänen, die jeweils zu einem begründeten Urteil führen: niedriges Risiko, gewisse Bedenken oder hohes Risiko für Bias.
Die Bewertung von Studienqualität wird belastbar, wenn jede Domäne getrennt betrachtet wird.
1. Randomisierungsprozess
Eine Randomisierung muss nicht nur erwähnt, sondern nachvollziehbar beschrieben sein. Entscheidend sind zwei Aspekte: die tatsächlich zufällige Zuteilung und die verdeckte Zuweisung.
Eine Tabelle mit Zufallszahlen oder eine computergenerierte Sequenz kann eine korrekte Randomisierung darstellen. Problematisch sind vorhersehbare Verfahren wie alternierende Zuteilung, Geburtsdatum oder Reihenfolge der Aufnahme. Ebenso problematisch ist eine Sequenz, die zwar zufällig erzeugt wurde, aber vor der Zuteilung einsehbar war. Dann kann die Rekrutierung beeinflusst werden.
Auch Ausgangsunterschiede zwischen Gruppen sind ein Signal. Sie beweisen keinen Bias. Sie können zufällig entstehen. Große oder systematische Unterschiede bei Prognosefaktoren verlangen jedoch eine genauere Prüfung des Randomisierungsprozesses.
2. Abweichungen von der geplanten Intervention
Die zweite Domäne betrifft die Frage, ob die Gruppen tatsächlich unterschiedlich behandelt wurden – und ob dies die Ergebnisse verzerren konnte. Verblindung schützt hier vor Erwartungseffekten bei Teilnehmern und Behandlern.
Bei Interventionen mit charakteristischem Geschmack, Geruch oder Konsistenz ist eine glaubhafte Verblindung oft schwierig. Das betrifft auch Pulver, Suspensionen und Präparate mit typischer gastrointestinaler Wirkung. Ein Placebo muss nicht chemisch identisch sein. Es muss aber in den für Verhalten und Wahrnehmung relevanten Eigenschaften ausreichend vergleichbar sein.
Zusätzlich ist zu klären, ob die Analyse dem Zuteilungsprinzip folgt. Bei einer Auswertung nach ursprünglicher Gruppenzuteilung bleiben die Vorteile der Randomisierung weitgehend erhalten. Werden Teilnehmer nachträglich wegen schlechter Adhärenz, Nebenwirkungen oder Therapieabbrüchen ausgeschlossen, kann die Vergleichbarkeit verloren gehen.
3. Fehlende Ergebnisdaten
Ausfälle sind nicht bloß ein organisatorisches Detail. Sie verändern Ergebnisse, wenn sie zwischen Gruppen ungleich verteilt sind oder mit dem Behandlungserfolg zusammenhängen.
Ein Beispiel: Brechen Teilnehmer in der Interventionsgruppe wegen gastrointestinaler Beschwerden häufiger ab und fehlen anschließend in der Endpunktanalyse, kann die Verträglichkeit zu günstig erscheinen. Bei subjektiven Beschwerden kann derselbe Mechanismus auch Wirksamkeitswerte verzerren.
Zu prüfen sind daher:
- die Zahl der randomisierten Personen,
- die Zahl der tatsächlich behandelten Personen,
- die Zahl der Personen mit auswertbaren Daten,
- die Gründe für Abbrüche in jeder Gruppe,
- der Umgang mit fehlenden Werten in der statistischen Analyse.
Das CONSORT-Flussdiagramm soll genau diese Abfolge sichtbar machen. Fehlt es oder bleiben Ausschlüsse unklar, steigt die Unsicherheit. Eine niedrige Ausfallquote ist günstig, aber nicht ausreichend. Entscheidend ist, ob die fehlenden Daten plausibel unabhängig vom Ergebnis sind.
4. Messung des Ergebnisses
Ein Endpunkt kann korrekt definiert und dennoch fehlerhaft gemessen sein. Objektive Laborparameter sind nicht automatisch biasfrei. Präanalytik, Messverfahren, Kalibration, Laborwechsel und fehlende Verblindung bei der Auswertung können Resultate beeinflussen.
Bei klinischen Endpunkten ist die Verblindung der beurteilenden Personen besonders relevant. Das gilt für ärztliche Ratings, bildgebende Befunde und patientenberichtete Ergebnisse. Je subjektiver der Endpunkt, desto stärker wirkt sich Wissen über die Gruppenzuteilung aus.
Bei Laborwerten müssen außerdem Messzeitpunkt und biologische Variabilität passen. Für Mineralstoff- und Spurenelementanalytik ist die Probenmatrix zentral. Serum, Vollblut, Urin und Haar erfassen unterschiedliche biologische Kompartimente. Ein Wert ist nur im Kontext der verwendeten Methode interpretierbar.
5. Selektion der berichteten Ergebnisse
Die selektive Berichterstattung ist einer der häufigsten Gründe für überoptimistische Schlussfolgerungen. Wenn mehrere Endpunkte, Zeitpunkte oder statistische Modelle geprüft wurden, können zufällig positive Resultate entstehen. Werden nur diese publiziert, entsteht ein verzerrtes Bild.
Die wichtigste Kontrollfrage lautet: War der primäre Endpunkt vor Beginn der Studie festgelegt? Ein Studienregister, ein Protokoll oder ein statistischer Analyseplan kann diese Frage beantworten. Fehlt die Vorab-Spezifikation, ist nicht bewiesen, dass selektiv berichtet wurde. Die Unsicherheit steigt aber deutlich.
Ein signifikanter Befund verliert an Gewicht, wenn unklar bleibt, wie viele andere Endpunkte, Zeitpunkte und Auswertungen zuvor getestet wurden.
Evidenzgrad bestimmen: Was GRADE tatsächlich bewertet
Das GRADE-System ordnet nicht einzelne Studien nach einem simplen Qualitätslabel. Es bewertet die Sicherheit der Evidenz für einen konkreten Endpunkt und einen konkreten Vergleich. Das Ergebnis besteht aus vier Stufen: hoch, moderat, niedrig und sehr niedrig.
Die praktische Frage lautet: Wie sicher ist man, dass der geschätzte Effekt dem tatsächlichen Effekt nahekommt?
Randomisierte Studien starten im GRADE-System grundsätzlich mit hoher Evidenzsicherheit. Diese kann abgewertet werden. Beobachtungsstudien starten grundsätzlich mit niedriger Evidenzsicherheit. Sie können unter bestimmten Voraussetzungen aufgewertet werden. Die Studienart ist damit ein Ausgangspunkt, kein endgültiges Urteil.
Die fünf Gründe für eine Abwertung
1. Risiko für Verzerrung: Mehrere Studien mit relevanten Problemen bei Randomisierung, Verblindung oder Ausfällen schwächen die Sicherheit der Gesamtaussage.
2. Inkonsistenz: Weichen Ergebnisse zwischen Studien deutlich voneinander ab, muss geklärt werden, ob Population, Dosis, Produktform oder Endpunkt diese Unterschiede erklären.
3. Indirektheit: Evidenz ist indirekt, wenn sie nicht exakt zur Frage passt. Ein Effekt bei einer anderen Erkrankung, einer anderen Dosis oder einem anderen Präparat lässt sich nicht ohne Weiteres übertragen.
4. Ungenauigkeit: Breite Konfidenzintervalle zeigen, dass der wahre Effekt noch erheblich größer, kleiner oder sogar gegenläufig sein könnte. Die reine Zahl der eingeschlossenen Personen genügt nicht; entscheidend ist die Präzision der Effektsschätzung.
5. Publikationsbias: Wenn kleine positive Studien sichtbar sind, negative oder neutrale Studien aber fehlen könnten, wird der Gesamteffekt überschätzt.
Drei Faktoren können Evidenz aus Beobachtungsstudien aufwerten: ein großer Effekt, eine konsistente Dosis-Wirkungs-Beziehung und plausible Störfaktoren, die den beobachteten Effekt eher abschwächen als erklären würden. Diese Aufwertung ist streng. Eine Beobachtungsstudie wird nicht dadurch stark, dass ihr Ergebnis plausibel klingt.
Für die evidenzbasierte Medizin sind Studien deshalb nicht allein nach der Hierarchie „RCT vor Beobachtung“ zu sortieren. Die konkrete Frage entscheidet. Eine seltene Langzeitnebenwirkung lässt sich in einer kleinen, kurzen RCT oft nicht erfassen. Eine gut geplante Kohortenstudie kann dafür die relevantere Information liefern, auch wenn ihre kausale Sicherheit begrenzt bleibt.
CONSORT, AMSTAR 2 und ROBIS: Berichtsqualität nicht mit Evidenz verwechseln
Das CONSORT-Statement umfasst eine Checkliste mit 25 Punkten sowie ein Flussdiagramm für randomisierte Studien. Es soll die Berichterstattung transparent machen. Gute CONSORT-Berichterstattung erleichtert die Prüfung von Randomisierung, Ausfällen, Endpunkten und Analysen.
Sie beweist jedoch nicht, dass eine Studie methodisch gut durchgeführt wurde. Ein vollständig berichteter methodischer Fehler bleibt ein Fehler. Umgekehrt kann eine Studie besser durchgeführt als beschrieben worden sein; sie bleibt dann für externe Leser dennoch nur eingeschränkt beurteilbar. In der Evidenzbewertung zählt, was nachvollziehbar dokumentiert ist.
Bei systematischen Übersichtsarbeiten verschiebt sich die Prüfungsebene. Hier wird nicht primär die Randomisierung einzelner Teilnehmer bewertet, sondern die Methodik der Evidenzsynthese. AMSTAR 2 und ROBIS sind dafür geeignete Instrumente.
Besondere Aufmerksamkeit verdienen bei Reviews folgende Punkte:
- Wurde ein Protokoll vorab festgelegt, oder wurden Auswahlkriterien nach Sichtung der Ergebnisse verändert?
- Wurde in mehreren Datenbanken und mit nachvollziehbaren Suchbegriffen recherchiert?
- Wurden Studienauswahl und Datenextraktion möglichst durch mindestens zwei Personen unabhängig durchgeführt?
- Ist nachvollziehbar, welche Studien ausgeschlossen wurden und warum?
- Wurde das Bias-Risiko der eingeschlossenen Studien bewertet und in die Schlussfolgerung einbezogen?
- Wurden klinisch verschiedene Interventionen oder Populationen unkritisch zusammengefasst?
- Wurden Finanzierung und Interessenkonflikte der Primärstudien berücksichtigt?
Eine Metaanalyse erhöht die Evidenz nicht automatisch. Sie kann Präzision erhöhen, wenn vergleichbare Studien mit vertretbarem Bias-Risiko zusammengeführt werden. Werden heterogene Studien, unterschiedliche Produktformulierungen oder nicht vergleichbare Endpunkte mathematisch kombiniert, entsteht eine präzise Zahl mit fraglicher Bedeutung.
Gerade bei Präparaten mit mineralischer Bindungswirkung ist die Produktidentität ein methodischer Kernpunkt. Klinoptilolith ist keine einheitliche pharmakokinetische Intervention, nur weil derselbe Oberbegriff verwendet wird. Herkunft, Reinheit, Kationenzusammensetzung, Aktivierung, Partikelgrößenverteilung und Begleitstoffe beeinflussen Oberfläche, Adsorption und potenzielle Wechselwirkungen. Ein positiver Befund zu einer konkreten Formulierung ist kein Generalnachweis für jede andere Formulierung.
Die belastbare Reihenfolge der Prüfung
Wer Studienqualität bewerten will, sollte nicht beim Fazit der Autoren beginnen. Die methodisch saubere Reihenfolge lautet: Frage definieren, Vergleich präzisieren, Endpunkt prüfen, Bias-Risiko bewerten, Effektgröße und Präzision einordnen, Übertragbarkeit beurteilen und die Sicherheit der Gesamtevidenz mit GRADE gewichten.
Die zentrale Trennung bleibt dabei erhalten: Reporting-Standards wie CONSORT machen Studien lesbar. RoB 2 bewertet Verzerrungsrisiken in randomisierten Studien. GRADE bewertet die Sicherheit eines Evidenzkörpers für einen bestimmten Endpunkt. Keines dieser Instrumente ersetzt das andere.
Eine belastbare Aussage entsteht erst, wenn die Kette geschlossen ist. Ist die Fragestellung präzise, das Bias-Risiko gering, der Effekt klinisch relevant und die Evidenz auf die Zielpopulation übertragbar, kann eine Studie eine Entscheidung fundieren. Fehlt eines dieser Glieder, muss die Schlussfolgerung entsprechend enger bleiben.