Hat sich eigentlich schon mal jemand Gedanken gemacht über die zahlreichen Rankings und Indizes, die täglich in den Nachrichten zu finden sind?

Unzählige! Hochschulranking, PISA, Exportweltmeister, Konsumklimaindex, Standortranking, Stiftung-Warentest-Sieger, Pflegeheim-Ranking, um mal ein paar Beispiele zu nennen.
Ist ja auch nett übersichtlich: Wenn man gewinnt, ist man gut, wenn man verliert, dann hat man seine Hausaufgaben nicht ordentlich gemacht und Mittelfeld ist halt “naja”.
Bei jedem Ranking werden viele Werte zu einem zusammengefasst. Dabei kann viel Information verlorengehen und das Ergebnis manipuliert werden.

Aber wie werden solche Rankings gemacht? Wie entstehen die Werte, die dann so schön sortiert werden können?

Ein Beispiel

Angenommen, ich mache – was ganz banales – ein kleines Ranking über gesunde Nahrungsmittel. Bei Schokolade vs. Paprika ist doch der Gewinner eindeutig.

i-57f61f1f9f127816a372b93fe803fe9c-Paprika.jpg

Also wähle ich ein paar meiner Meinung nach geeigneter Kennzahlen aus, die den Gesundheitswert des Nahrungsmittels gut repräsentieren. Viele Vitamine ist gut, viel Zucker und Fett schlecht. Salz und Cholesterin sind auch schlecht.
Jetzt muss ich die einzelnen Werte wichten, das heisst, ich kann ihnen unterschiedliche Stellenwerte geben, ihre Wichtigkeit bestimmen. So enthält Schokolade zwar auch viele Vitamine und Mineralstoffe, aber besonders viel Fett und Zucker. Ich muss also an den Stellschrauben drehen, bis der richtige Wert herauskommt. Das macht man, indem jede Kennzahl einen Faktor dazumultipliziert bekommt. Großer Faktor: großer Einfluss, kleiner Faktor: kleiner Einfluss und Fett und Zucker würde man ausserdem negativ einfließen lassen.

Und wer jetzt aufmerksam mitgedacht hat, merkt: Vorsicht! Genau hier liegt die Gefahr zur Manipulation. Das heißt eigentlich schon vorher, wo ich mir die geeigneten Kennzahlen ausgesucht habe. Hier kann ich vieles ignorieren, was mir nicht in den Kram passt, oder mit einbeziehen, was andere vielleicht für überflüssig halten würden. Und beim Drehen an den Gewichten, den Stellschrauben, kann ich jetzt wirklich beliebige Ergebniswerte zaubern.

Wichtig für einen anständigen Wissenschaftler ist, dass man diese Einstellungen im Vorfeld macht und sie begründen kann. Aber nachweisen lässt es sich schlecht, wenn jemand sich nicht an dieses Gebot gehalten hat.

Bekannte Rankings

Gucken wir uns also mal ein paar der oben aufgezählten Beispiele an.

  • Bei der Stiftung Warentest werden sehr transparent verschiedenste Produkte untersucht, die Teilergebnisse gewichtet und dann zu einer Note zusammengefasst. Das ist erstmal schön übersichtlich, aber gerade letztens habe ich mich darüber geärgert, dass der Basmatireis, den ich selber immer kaufe und esse, der keine Schadstoffe enthielt und ausserdem 100% Basmati mit angenehmen Duft war, ein “mangelhaft” bekommen, weil er angeblich verklumpt und verkocht (bei mir tut er das nicht). Während andere, die mit Schadstoffen und nicht 100% Basmati und muffigem Geruch deutlich besser abschnitten.
    Deswegen sollte man immer die Details der Tests angucken und überprüfen, welche Punkte für einen selbst wichtig sind.
  • Das Pflegeheim-Ranking wurde ausgiebig in den Medien diskutiert. Hier wurden unterschiedliche Aspekte der Pflege einbezogen und diese dann gleich stark gewichtet. Nun kann man darüber diskutieren, ob es genauso wichtig ist, dass die Pflegebedürftigen gutes Essen bekommen, sich selten wundliegen oder alles gut dokumentiert ist. Zumindest ist die Berwertung transparent.
  • ifo-geschäftsklimaindex: Volker Pispers erklärt es schön:
  • Der Konsumklimaindex der GfK ist eine ähnliche Sache, die Details habe ich nicht herausgefunden. Es werden 2000 Menschen gefragt, was sie glauben, wie sich das Konsumklima und ihr Einkommen entwickeln wird. Wie genau das alles zusammengerechnet wird, ist mir dann allerdings nicht klar geworden. Aber das tut nichts zur Sache, ich verweise auf obigen Volker Pispers.
  • Es gibt verschiedene Länder-Rankings, über glückliche Staaten, freieste Wirtschaft oder Reformwilligkeit. Wenn man darüber in den Medien liest erfährt man wenig über die Faktoren, die eine Rolle spielten, noch deren Gewichtung. Sie sind entsprechend ziemlich wenig aussagekräftig und fallen je nach Auftraggeber völlig verschieden aus. Sie sind schlicht was zum Zeitungsseiten-Füllen.
  • Ja und das Hochschulranking? Hier gibt es ja schon Unis, die sich da abgemeldet haben. Auch die Schweiz und Österreich sind nicht mehr dabei.
    Bei Wikipedia findet man eine ganze Liste von Kritiken. So werden zum Beispiel die zugrunde liegenden Daten und das Bewertungssystem nicht verraten. Viele kritisieren, dass die Anzahl der Veröffentlichungen eingerechnet wird. Oder es werden zu wenig Studenten, so dass deren Einschätzung nicht aussagekräftig genug ist. (Ich erinnere mich, dass bei uns in der Mathematik 1 oder 2 Studenten befragt wurden, die prompt ihr Institut über den Klee gelobt haben und entsprechend hat es damals toll abgeschnitten – na gut, vielleicht auch zu Recht ;-))
    Dieses Ranking beeinflusst natürlich massiv die Studienplatzwahl, was letztlich zur Umverteilung von Geldern führt, hin zu Elite-Unis, weg von den normalen.

Bei jedem Ranking muss man genau gucken, wer es durchgeführt hat. So steht hinter dem CHE, das u.a. das Hochschulranking macht, die inzwischen von vielen Seiten kritisierten Bertelsmann Stiftung, die sich für eine neoliberale Politik (z.B. Privatisierungen, Eliteförderung) einsetzt.

Ich denke sowieso, dass es bei vielen Rankings darum geht, etwas als Wettbewerb zu verkaufen, was eigentlich völlig unterfinanziert ist. Die Wahrheit ist, dass auch wenn sich alle bis zur Selbstaufgabe anstrengen, trotzdem jemand hinten runter fallen wird.
Und natürlich, aber das ist jetzt fast zu offensichtlich, um es nochmal zu betonen: Man versucht das, was man für richtig hält, so zu verkaufen, dass die anderen es glauben.

Findet Schokolade auch sehr gesund:
Andrea Thum

Kommentare (18)

  1. #1 Sven Türpe
    August 10, 2010

    Und beim Drehen an den Gewichten, den Stellschrauben, kann ich jetzt wirklich beliebige Ergebniswerte zaubern.

    Das würde ich aber mal an realen Kennzahlen und Gewichten ausprobieren. Mit plausibel begründeten Kriterien und Gewichten ein beliebiges Ergebnis herzustellen, ist nämlich gar nicht so einfach, wie es sich anfühlt.

  2. #2 Wb
    August 10, 2010

    Sehr verständlich dargestellt.

  3. #3 Andrea T.
    August 10, 2010

    @Sven:
    Ein Freund formulierte es so:

    “Mathematisch kann man es doch so fassen: Du willst n Dinge bewerten und hast n unabhängige Kriterien, brauchst also n Wichtungskoeffizienten. Die n-mal-n Messwerte schreibst du in die Matrix A, die Wichtungskoffizienten in den Vektor w, dann bekommst du den Bewertungsvektor b mit b = A·w. Wenn du allerdings den Bewertungsvektor schon hast (das bestellte Ergebnis deiner Studie), kannst du auch den Wichungsvektor leicht ausrechnen:
    w = A-1 · b”

  4. #4 rudimens
    August 10, 2010

    An den Beispielen oben zeigt sich mal wieder die Wichtigkeit der drei Fragen, die heute immer zu stellen sind:
    Wer hat’s bezahlt?
    Wem nützt es?
    Was soll damit erreicht werden?
    [zynisch/bitterer Unterton]
    Meint die Bertelsmannstiftung mit “marktwirtschaftlicher Demokratie”
    Ein Euro=Eine Stimme ?
    Ist das Liefern eines bestellten Forschungs/Umfrageergebnisses noch Wissenschaft?
    Beeinflussen solche Statistiken mein tägliches Leben? [zynisch/Unterton aus]

  5. #5 Sven Türpe
    August 10, 2010

    Dass die Anpassung mathematisch kein Problem ist, das ist mir schon klar. Deswegen die Forderung nach einer plausiblen Begründung: die Gewichte sollten aus irgendeiner Theorie oder Hypothese über den behandelten Sachverhalt abgeleitet bzw. damit erklärt sein. Dann kann man darüber diskutieren, warum w_41 so groß und w_9 negativ ist.

  6. #6 Wb
    August 10, 2010

    @Sven
    Das grundsätzliche Problem, sollte es eines sein, ist, dass Rankings, Ratings und Empfehlungen dieser Art wirtschaftlichem Handeln entspringen, d.h. es gibt Anbieter einer Rankingleistung und eben Konsumenten, d.h. es entsteht Mehrwert (da ansonsten dementsprechendes nicht angeboten werden würde – jedenfalls in der Theorie :).

    Dass nun bspw. Ranking-/Ratingagenturen gelegentlich mit Kennzahlen abgefrühstückt werden oder sich gerne lassen, die bspw. von intern sitzenden parteiischen Mathematikern bereitgestellt werden, die wiederum auf Nachfragen amorphes Verhalten (bzw. die kaufmännischen Schichten darüber) zeigen und in der Lage sind Datenlagen passend nachzuarbeiten, ist klar. Natürlich haben die o.g. Agenturen ein Eigeninteresse. Aber Schluss bleibt oft ein großes Gekrampfe und Gewürge, das abnehmerseits mit Vorsicht zu genießen ist. – Wobei die Ratings und Rankings natürlich schon ihren Sinn haben, Plausibilität hin oder her, Plausibilität kann der Amorphe ohnehin meist generieren, dafür wird der bezahlt…

    MFG
    Wb

  7. #7 Stefan W.
    August 11, 2010

    a) Hängt die Frage, wie gesund Schokolade ist in erster Linie davon ab, was man sonst so isst. 1949 z.B. – wo es schonmal Thema ist – hätten wohl die meisten Mediziner seriös zur Schokolade geraten, denn Zucker und Fett sind natürlich gesund.

    b) Dachte ich, die Cholesterinfrage wäre inzwischen dahingehend beantwortet, dass hohe Messwerte im Blut schlecht sind, aber Produkte, die viel Cholesterin enthalten nicht notwendig den Cholesteringehalt im Blut befördern, so dass die Panikmache unangebracht ist – auch im Nebensatz eines Blogs müsste man dieses Gerücht nicht weiter verbreiten.

    c) Ist der Salzmangel in der Schokolade ein ernstes Problem, ist doch m.W. erwiesen, wie nötig wir Salz brauchen.

    d) “Und beim Drehen an den Gewichten, den Stellschrauben, kann ich jetzt wirklich beliebige Ergebniswerte zaubern.”

    Wir haben die 3 Produkte P, Q, R und die zwei Eigenschaften a und b, und die Tabelle sieht so aus:

        P  Q  R
    a  1   2   3
    b  2   4   6
    

    1, 2, 3 sind die Messwerte. Aufgabe: Drehen sie so an den Gewichten, dass Q als Produkt des Sponsors der Studie als Gewinner den Platz verlässt, Oder lassen sich nicht wirklich beliebige Ergebniswerte herbeizaubern?

    e) Habe ich schon gesagt, dass Vitamine gemeinhin weit überschätzt werden? Gelegentlich sollen sie vor Skorbut schützen, ja.

  8. #8 michael
    August 11, 2010

    > Aufgabe: Drehen sie so an den Gewichten, dass Q als Produkt des Sponsors der Studie als Gewinner den Platz verlässt,

    Kein Problem:

    Erste Lösung:
    die obere Reihe gewichte ich mit der Gewichtsfunktion
    5-(x-2)² die untere mit 5-(x-4)² .

    Zweite Lösung:
    Einfach ein drittes Merkmal testen.

    > Ist der Salzmangel in der Schokolade ein ernstes Problem

    a) es gibt auch gesalzene Schokolade. Diese hat unter anderem den Vorteil, dass niemand davon was abhaben will.
    b) angeblich nimmt der gemeine Deustche eh zu viel Salz zu sich.

  9. #9 Andrea T.
    August 11, 2010

    @Stefan: ich habe den Gesundheitsaspekt absichtlich so zusammengebaut, wie es aktuell als richtig erachtet wird. Du hast es mit deinem Verweis auf 1949 auf den Punkt gebracht, die Empfehlungen ändern sich ständig. Nur paprika essen ist auf Dauer vermutlich auch nicht gesund.
    Aber solche Rankings bringen gern genau solche Ergebnisse: Freie Märkte sind super! In Bangladesh sind die Menschen total glücklich, etc. Es geht sehr oft darum, was man vielleicht politisch durchsetzen will, ganz wenig darum, eine echte Abbildung der Wirkichkeit zu erzeugen.

  10. #10 Stefan W.
    August 11, 2010

    Ach das war Absicht? Ich würde ja nicht die aktuellen Vorurteile weiter breittreten, sondern die Gelegenheit nutzen, en passant auch noch die aktuellen Wahngebilde zu unterminieren. 🙂 Und die aktuelle Empfehlung ist also, weder Fett, noch Zucker zu essen? Also auch kein Obst? Na dann wird der Paprika sicher nötig sein!

  11. #11 Andrea T.
    August 12, 2010

    @Stefan: Du weisst doch, dass Fett ganz schlecht ist und so 🙂 Ich bin eher Anhänger der These man soll alles essen, worauf man Hunger hat *grins* Aber ich hab gut reden, ich werd nicht dick.

  12. #12 Blaubart
    August 12, 2010

    Also irgendwie habe ich mir von dem Blog versprochen, um ehrlich zu sein. In den beiden Beiträgen die ich gelesen habe wurde von der Verfasserin jedes mal eine Verschwörungstheorie aufgeworfen und das bei Scienceblogs?
    Oder ist das der Ausgleich dafür, dass in manchen Blogs nebenan vor allem aufgeklärt wird und das ist jetzt sozusagen das Gegenstück dazu?

  13. #13 Schmalzlocke
    August 13, 2010

    @Blaubart:
    Gut, wenn du dir von dem Blog versprochen hast. 🙂

    Wenn ein Artikel, deine Meinung bestätigt, wirst du aufgeklärt
    und wenn er deiner Meinung widerspricht, ist es eine Verschwörungstheorie?
    Versuche mal, Verschwörung zu definieren. Ich fürchte, dann fällt vieles, was du für richtig hältst, darunter. “Mafia”, “Seilschaften”, “Netzwerke”, “Filz” sind doch nur andere Wörter für Verschwörungen – und glaubst du daran? Also ich meine, richtige Verschwörungstheorien zu verbreiten, ist doch ok, oder?

    Damit wären wir direkt beim Thema “selektive Wahrnehmung”.

  14. #14 roel
    August 19, 2010

    @ Stefan W. ) “Habe ich schon gesagt, dass Vitamine gemeinhin weit überschätzt werden? Gelegentlich sollen sie vor Skorbut schützen, ja.” Das dachten wohl auch einige Angestellte eines Soja-Babymilchproduzenten.

    November 2003
    Eine von einer deutschen Firma hergestellte Soja-Babymilch ist für den Tod von drei Säuglingen in Israel verantwortlich. Weitere 20 Kleinkinder liegen noch auf der Intensivstation einer Kinderklinik. Nach Ermittlungen des israelischen Gesundheitsministeriums enthielt das Produkt kein Vitamin B1, obwohl dies auf dem Etikett angegeben war. Der akute Vitaminmangel führte den Angaben zufolge bei einigen Kindern zu schweren Schäden im zentralen Nervensystem und schließlich zum Tod.

  15. #15 Stefan W.
    August 19, 2010

    @roel: Schön, man muß also bis 2003 zurückgehen, und bis nach Israel schauen, um einen Fall zu finden, wo kleine, abhängige Wesen, die sich nicht selbst um ihre Nahrung kümmern können, und sogar Unwohlsein nicht differenziert kommunizieren können, zu finden, denen ein Vitaminmangel schadete? Das bestätigt das von mir gesagte ja eher. 🙂

  16. #16 roel
    August 19, 2010

    @Stefan W. “Schön, man muß also bis 2003 zurückgehen”, muß man nicht. Aber diesen Fall habe ich damals genauer verfolgt.

    “und bis nach Israel schauen”, die Herstellerfirma sitzt in Deutschland.

    “um einen Fall zu finden, wo kleine, abhängige Wesen, die sich nicht selbst um ihre Nahrung kümmern können, und sogar Unwohlsein nicht differenziert kommunizieren können, zu finden, denen ein Vitaminmangel schadete?” Im Internet finden Sie auch Berichte über alte, abhängige Wesen die unter Vitaminmangel leiden und das nicht kommunizieren können.

    Ja klar, der Tod von 3 Säuglingen wegen Vitaminmangel bestätigt, dass Vitamine überschätzt werden!?! Zum Glück werden solchen Produkten normalerweise immer genügend Vitamine beigemischt, um Vitaminmangelerscheinungen zu verhindern. Zum Glück war dieses Produkt nicht noch weiter verbreitet.

    Sie können ja selbst zu Vitamin D recherchieren, wie sich der Mangel auswirken kann. Oder setzen Sie sich doch in einen dunklen Raum und nehmen keine Vitamin D Präperate zu sich. Es kann ja nicht viel passieren, Vitamine werden überschätzt.

  17. #17 Stefan W.
    August 19, 2010

    “Im Internet finden Sie auch Berichte über alte, abhängige Wesen die unter Vitaminmangel leiden und das nicht kommunizieren können.” – nein, bisher noch nicht.

    “Zum Glück werden solchen Produkten normalerweise immer genügend Vitamine beigemischt, um Vitaminmangelerscheinungen zu verhindern.”

    Da fragt sich doch eher, wieso man solche Produkte nicht aus Rohstoffen herstellt, die schon die passenden Vitamine enthalten.

  18. #18 S.S.T.
    August 19, 2010

    @roel

    Wenn man schon Ersatznahrungsmittel herstellt, dann müssen diese auch alle notwendigen Inhaltsstoffe in der richtigen Menge enthalten. Augenscheinlich war das Produkt fehlerhaft, mit den angesprochenen fatalen Folgen.

    Dass Vitaminmangel zum Tode führen kann, ist sicherlich allgem. Konsens.

    @Stefan W. hatte allerdings nur “überschätzt” geschrieben und da muss ich ihm beipflichten, zumindest was die ‘satten’ Industrieländer angeht. Hier hat jeder die Möglichkeit sich in jeder Jahreszeit halbwegs ausgewogen zu ernähren. Für diesen ganz großen Teil der Bevölkerung besteht keine Notwendigkeit für Vitaminpillen (die in der Werbung ja soooo gesundheitsfördend sind) noch für sonstige Nahrungsergänzungsmittel. Beide sind aber ein großer (überwiegensd sinnloser) Markt.

    Alte Leute haben häufig wenig Hunger bzw. Appetid (noch schlimmer: evtl. kaum Durst), d.h. sie ernähren sich mangelhaft, weil z.B. eine Scheibe Brot oder ein dünnes Süppchen als Mahlzeit ausreicht. In diesen Fällen können entsprechende Pillen durchaus sinnvoll sein (ein Pfeifchen oder korrekterweise eine Marinol-Kapsel evtl. auch).

    Was mich stört, ist der Werbe-Hype um Vitamine und andere Nahrungsergänzungsmittel. Reine Geschäftemacherei, jedenfalls hier. Kann übrigens auch zu einer Hypervitaminose führen, die zwar üblicherweise nicht ganz so schlimm enden kann, wie das Gegentum, aber immerhin (z.B. für einige R. Hubbard Jünger).

    Nur damit wir uns nicht missverstehen: Ein Vitamin-Mangel kann sehr ernste Folgen haben und Vitamine müssen je nach Lebensumstand ggf. ‘künstlich’ zugeführt werden.