Kritische Analyse der Heinsberg-Studie

[Detti04]

Nee, brauchste nicht, ich kenne mich in Statistik/Methoden genug aus. In diesem Fall wollte man nicht einzelne Personen, sondern einzelne Haushalte ziehen und hat sich aus pragmatischen Gründen (i.d.F. fehlende Zeit) zu dieser Namenseinschränkung entschlossen um keine Haushalte mehrfach zu ziehen. Völlig normales Vorgehen.

Fehlende Zeit, wenn das Melderegister zur Verfuegung steht? Wenn man unabhaengige Haushalte ziehen will, wieso zieht man dann statt der Namen nicht einfach die Adressen, wenn man eh Zugang zum Melderegister hat? Wieso meint man, Rudi Schmitz aus der Poststrasse 55 ausschliessen zu muessen, weil man schon Kevin Schmitz aus der Bachstrasse 12 gezogen hat?

 

[Rupert]

Das ist ja ein Kaff, weit ab vom Schuss; da gibt's ja eh nur 20, 30 verschiedene Nachnamen und genetisch sind die eh alle sehr nah beieinander.

 

[Holgy]

Zum Beispiel. Und wer nicht gemeldet ist, hat gar keine Chance auf Ziehung - ist damit sämtliche Forschung in Deutschland ungültig?

Aber die Kontaktadressen der Methodiker sind ja im Artiekl dabei - einfach mal anschreiben, die sind immer recht auskunftsfreudig.

Diese Studie ist geradezu ein Lehrbeispiel dafür, was man auf wen verallgemeinern kann. Werde ich wohl tatsächlich mal bei nächster Gelegenheit anwenden.

Was wurde aus der Stichprobe herausgefunden?

15,02% der Stichprobe sind/waren infiziert (3 Testst und Befragung, ob sie in der Vergangenheit schon mal positiv getestet wurden).

Dieser Wert wurde dann auch noch korrigiert nach den bekannten Werten für Sensitivität und Spezifität, so dass man zu dem Ergebnis kommt, dass 15,53% der Stichprobe infiziert sind [CI 12,31 - 18,96].

Heißt das, man kann davon ausgehen, dass in ganz Deutschland schon 12 - 19% infiziert sind?

Nein!

Das Ergebnis ist nicht auf die Gesamtbevölkerung übertragbar.

Warum nicht?

Nicht etwa, weil die Stichprobe im Durchschnitt jünger, älter, kränker, gesunder, trinkreudiger, abstinenter, glücklicher oder trauriger war.

Sondern weil in Heinsberg ein starker Ausbruch stattgefunden hatte, woraus deutlich mehr Infizierte resultieren als das in Gesamtdeutschland der Fall war.

Mann kann von der Stichprobe aber auf die Gesamtbevölkerung von Reinsberg verallgemeinern. Dort gibt es dann etwa 2.000 Infizierte (genau Zahlen sind im Artikel). Da wir ebenfalls die Anzahl der Toten, können wir nun den IFR berechnen. Heraus kommt die bekannt Zahl 0.358%.

Nun reflektieren die Autoren ihre Ergebnisse noch mit den anderen bekannten Zahlen:
While the percentage of previously reported cases as collected from the questionnaire in the
study population was 2.39% (PCRrep+), the percentage of officially reported cases in the
community of Gangelt at the end of the study period (April 6) was 3.08% (388/12,597). This
indicates that previously SARS-CoV-2 diagnosed individuals were somewhat
underrepresented in our study, possibly due to previously diagnosed people not opting to
participate in the study given their known infection status, or for other reasons, such as
quarantine, not feeling well or hospitalization. Thus, applying the corresponding correction
factor (3.08% / 2.39% = 1.29) to the infection rate of 15.53% of our study population, the
resulting corrected infection rate was 19.98% [15.84%; 24.40%] (Fig. 3B). Accordingly, the
corrected higher infection rate reduced the IFR to an estimated 0.278% [0.228%; 0.351%] (Fig.
3C). (page 9) (...)
In our study, infection is defined as either PCR positive, anti-SARS-CoV2+ IgG seropositive or
both, thus including present and past infections. Since SARS-CoV-2 only arrived in February,
seropositives are expected to cover all infections except the very recent. This may become
different as the pandemic continues, since a decrease in antibody titers over time needs to be
considered in the calculation of the IFR. Furthermore, in our study, the number of reported
PCR positives (2.39%) was lower than in the overall population (3.08%) of this high-prevalence
community. This indicates that infected individuals may be underrepresented in our study
population. Although this is plausible (no response to study request due to illness, hospital,
ICU, already known infection status, etc.) and would lead to a correction by factor 1.29, we
chose to use the uncorrected lower percentage to conservatively estimate the total number of
infected and the resulting IFR in the population.
To determine the IFR, the collection of materials and information including the reported cases
and deaths was closed at the end of the study acquisition period (April 6th), and the IFR was
calculated based on those data. However, some of the individuals still may have been acutely
infected at the end of the study acquisition period (April 6th) and thus may have succumbed to
the infection later on. In fact, in the 2-week follow-up period (until April 20th) one additional
COVID-19 associated death was registered. The inclusion of this additional death would bring
up the IFR from 0.36% to an estimated 0.41% [0.33%; 0.52%].


Nur um zu zeigen, dass die Autoren mitnichten nur eine Zahl kommunizieren und alles andere außer acht lassen. Das Gegenteil ist richtig.

Und was sagen die Autoren zu Gesamtdeutschland?

Gar nichts!

Na gut, ein wenig. Nach einer langen Diskussion in der aufgezeigt, was die Höhe des des IFR beeinflussen kann und das die Ergebnisse der Studie entsprechend limitiert sind:

However, with the limitations discussed above, the IFR calculated
here remains a useful metric for other regions with higher or lower infection rates. If in a
theoretical model the here calculated IFR is applied to Germany with currently approximately
6,575 SARS-CoV-2 associated deaths (May 2nd, 2020, RKI), the estimated number of infected
in Germany would be higher than 1.8 Mio (i.e. 2.2% of the German population). It will be very
important to determine the true average IFR for Germany. However, because of the currently
low infection rate of approximately 2% (estimated based on IFR), an ELISA with 99% specificity
will not provide reliable data. Therefore, under the current non-superspreading conditions, it is
more reasonable to determine the IFR in high prevalence hotspots such as Heinsberg county.
The data of the study reported here will serve as baseline for follow up studies on the delta of
infections and deaths to identify the corresponding IFR under those changed conditions.

Das ist also ein erster empirischer Wert, mit dem man arbeiten kann. Und es wird ja noch weiter geforscht.

Der IFR ist eher auf die Gesamtbevölkerung übertragbar als die 15,xy%, der er setzt ja die Infizierten und die Toten in Beziehung. Sind in Heinsberg 15,xy% tatsächlich infiziert, sind es Deutschand bei angenommenem IFR 2%.

Man kann auch die anderen genannten IFR-Werte nehmen, die in der Studie genannt werden, wenn die Argumente zu denen plausibler findet und dann schnell selber mit dem Taschenrechner die "Dunkelziffer" ausrechnen.

Die Studie hat darüberhinaus einige viel interessanter Ergebnisse, zum Beispiel, dass das Infektionsrisiko unabhängig von Alter, Geschlecht und Vorerkrankungen ist. Zudem wie hoch das Ansteckungsrisiko für Personen im gleichen Haushalt mit einem Infizierten ist und wie sich das Risiko mit der Haushalsgröße ändert. (Das hätte ich viel höher erwartet.


@Detti04 Wir hatten es uns ja anderer Stelle mal gefragt, ob es stimmt, das eine höhere Virelast bei Infektion zu schwereren Krankheitsverläufen führt. Im Artikel sind Hinweise darauf mit Literaturangaben:
Notably, results from experimental human influenza infection studies have demonstrated that the symptom score
depends on the viral dose administered26,27. Similar observations have been made for MERS28 and SARS29.

 

[GaviaoDaFiel]

@Detti04 Wir hatten es uns ja anderer Stelle mal gefragt, ob es stimmt, das eine höhere Virelast bei Infektion zu schwereren Krankheitsverläufen führt. Im Artikel sind Hinweise darauf mit Literaturangaben:
Notably, results from experimental human influenza infection studies have demonstrated that the symptom score
depends on the viral dose administered26,27. Similar observations have been made for MERS28 and SARS29.

Es scheint zumindest für Krankenhauspersonal der Fall zu sein. Habe dafür aber keine Quelle, bzw. das ging aus mehreren CNN-Reportagen aus New Yorker KHs hervor.

 

[Detti04]

[...]
Mann kann von der Stichprobe aber auf die Gesamtbevölkerung von Reinsberg verallgemeinern. Dort gibt es dann etwa 2.000 Infizierte (genau Zahlen sind im Artikel). Da wir ebenfalls die Anzahl der Toten, können wir nun den IFR berechnen. Heraus kommt die bekannt Zahl 0.358%. [...]

Hier wird auf die Bevoelkerung von ganz Gangelt verallgemeinert, nicht auf die vom ganzen Kreis.

Trotzdem macht man selbst bei dieser Verallgemeinerung einen Fehler, wenn in der Stichprobe die Infizierten ueberrepraesentiert sind. Woher weiss ich aber, dass in der Stichprobe die Infizierten ueberrepraesentiert sind? Von den Autoren der Studie selber, die ja selber sagen, dass die Chance auf eine Infektion steigt, wenn im Haushalt schon jemand infiziert ist. Das heisst: Selbst wenn die original angeschriebenen 405 Personen noch repraesentativ waeren (was sie vermutlich nicht sind), dann sind es die restlichen 514 Teilnehmer auf keinen Fall. Wir wissen also, dass bei mindestens 56% (=514/919) der Teilnehmer unserer Studie die Infizierten ueberrepraesentiert sind. Und wird das von den Autoren der Studie diskutiert? Wird ihr Punktschaetzer fuer die Infiziertenquote dementsprechend angepasst? Weder noch.

Stattdessen wird einfach so getan, als waere die Probe repraesentativ und dementsprechend hochgerechnet. Anschliessend machen die Autoren den naechsten (leider ueblichen) Fehler, eine Zahl von abgeschlossen Infektionen (d.h. die Zahl der Todesfaelle) durch eine andere Zahl zu teilen, die sowohl abgeschlossene als auch aktive Infektionen erhaelt, und halten das dann fuer das Endresultat. Was fuer ein unwissenschaftlicher Unsinn.

 

[Holgy]

Stimmt leider wieder vieles nicht zudem handelt sich um Wiederholugen und einseitige Betrachtungen, die vieles außer acht lassen. Zudem hast Du alles schon mal geschrieben und es ist auch schon an eben diesen Stellen widerlegt worden. Daher hier nur noch mal kurz, alles andere steht schon weiter oben.

Die Autoren diskutieren die Unter-/Überepräsentation von Infizierten in der Stichprobe und kommen zu einem gegenteiligen Schluss:

While the percentage of previously reported cases as collected from the questionnaire in the
study population was 2.39% (PCRrep+), the percentage of officially reported cases in the
community of Gangelt at the end of the study period (April 6) was 3.08% (388/12,597). This
indicates that previously SARS-CoV-2 diagnosed individuals were somewhat
underrepresented in our study,... (um nur mal eine stelle zu nennen)

Die Repräsentativität wird auch nicht nur behauptet, wie ebenfalls oben schon gezeigt.

Entsprechend stimmt auch Dein letzter Absatz wieder bzw. immer noch nicht, denn wie bereits oben gezeigt, zeigen die Autoren, wie sich der IFR ändert, u.a. wenn man die noch Zusterbenden einbezieht. Ich erspare es mir, das jetzt noch mal alles aus dem Artikel zu posten, das ist dann ein Kreis ohne Ende.

Die Studie ist natürlich kein wissenschaftlicher Unsinn. Die Limitierungen der Studie und damit der Zahlen wird genannt und diskutiert, wie es wissenschaftlich üblich ist.

Und um nochmal zu der Frage von oben zurückkommen: Ist Forschung in Deutschland gar nicht möglich und die bisherige Forschung, die auf Zufallsstichproben beruht, ungültig, weil es Personen gibt, die gar nicht gemeldet sind und daher gar keine Chance haben gezogen zu weden?

 

[Detti04]

Seufz, Holgy. Dann glaub halt, dass die Autoren da hervorragende Forschung betrieben haben. Es stimmt nur nicht, wie ich anhand meiner Eingangsbeitraege belegt habe. Und man darf es auch durchaus bemerkenswert finden, dass alle Fehler nicht nur in Richtung besonders spektakulaerer Ergebnisse gemacht wurden, d.h. in Richtung besonders grosser Fallzahlen, einer besonders grossen Dunkelziffer und einer besonders kleinen IFR, sondern dass die moeglichen Fehlerquellen auch nicht angemessen diskutiert werden. Gute Wissenschaftler machen in der Regel das genaue Gegenteil, d.h. sie diskutieren ausfuerlich moegliche Fehler und machen dann vorsichtige Aussagen.

Man beachte uebrigens, dass ich keinerlei Aussage darueber treffe, wie die Autoren als Biologen, Pharmakologen oder Virologen hier gearbeitet haben. Ich nehme stark an, dass sie da, also bei der Aufnahme von medizinischem Probenmaterial und bei der Ausfuehrung ihrer klinischen Tests, sauber, gut und porfessionell gearbeitet haben, und dass die Autoren in dieser Hinsicht ordentliche Wissenschaftler sind. Ich anlysiere nur die Interpretation ihrer Testergebnisse, weil ich von sowas eine Ahnung habe, und da scheint es mir bei den Autoren zu hapern.

Und nur, um mich nochmal zu wiederholen: Praezision ist kein Ersatz fuer Richtigkeit. Ein falsches Ergebnis wird nicht dadurch richtiger, dass man es auf die dritte Nachkommastelle ausrechnet. Ich weiss, ich weiss, das ist schwer zu verstehen - deshalb verstehen es die meisten Leute ja auch nicht. Dazu gehoeren leider auch viele Wissenschaftler, und dabei insbesondere solche, die in ihrer Ausbildung wenig mit Mathematik zu tun haben.

 

[Holgy]

Seufz, Detti. Dann glaube halt nicht an die Ergebnisse der Forscher.

Fehlende Perfektion ist kein Indiz für Falschheit der Ergebnisse. Deine 3 kleinen Anmerkungen sind ja nicht grundsätzlich falsch, aber sie bedeuten nicht, dass die Ergebnisse völlig falsch sind. Sie sind Jammern auf höchstem Niveau, die die Ergebnisse in keinster Weise in Frage stellen. Aussagen zu behaupten, die die Forscher gar nicht gemacht haben, und das dann zu kritisieren, ist unredlich. Bei den Autoren hapert es dahingehend in keinster Weise, ganz im Gegenteil (zwei Kollegen mit ausgewiesener Expertise sind Mitautoren, daher ist dein Hinweis auf fehlenden mathematische Kompetenzen - sorry- lächerlich). Aber auch dies ist schon dargelegt und im Artikel ja selbst nachzulesen. Hier sei nur nochmal Dein Einschätzug der Überrepräsentation der Infizierten hingewiesen, wohingegen die Zahl der Infizierten tatsächlich eher unterrepräsentiert ist.

Davon mal ganz abgesehen, gibt es durchaus relevante Kritikpunkte an der Studie, die auch mit den Autoren in wissenschaftlichen Publikationsorganen diskutiert werden. Aber das sind natürlich andere als Deine hier vorgetragenen (aus genannten Gründen).

Damit will ich es hier mal bewenden lassen, das Thema ist ja nun übererschöpfend behandelt und alles wieder und wieder zu wiederholen ist ja völlig zweckfrei.

Schade ist aber dennoch, dass sämtlich Forschung in Deutschland ungültig und zukünftig unmöglich ist, da über das Meldeamtgezogene Stichproben nicht alle mit der gleichen Wahrscheinlichkeit gezogen werden können, da es ungemeldete und mehrfach gemeldete gibt. ;-)

 

[KGBRUS]

Nach all den Wissenschaftlichen Abhandlungen von Detti & Holgy, die zu zwei unterschiedlichen Ergebnissen kommen. Mal meine Sichtweise:

Ich denke man kann die Studie eben nicht auf Deutschland hochrechnen.
Ersten, wie ich bereits sagte ist Gangelt ein Hotspot, somit ist schon allein deshalb von überdurchschnittlich vielen Infizierten auszugehen. Es ist bei einer Karnevalsitzung ja nicht nur das kein Abstand herrscht, sondern das Virus wird auch über die Gläser, die mehr oder weniger gut gespült werden übertragen. Des weiteren können wir davon ausgehen, das die Hochrisikogruppe (Altersgruppe mit der Höchsten Sterblichkeitsrate)bei der Karnevalsveranstaltung extrem unterrepräsentiert war.
Das zweite ist, das Gangelt ein Dorf ist, sprich die Kontakte untereinander weitaus mehr sind als in einer Stadt.

Wir haben also hier schon eine weit Überdurchschnittliche Erhöhung der Infizierten.

Man müsste sich ein Dorf suchen mit wenig bestätigten Fällen, ungefähr gleicher Altersstruktur und die Teilnehmer nach den gleichen Kriterien auswählen.
Beide Studien betrachten dann kann man daraus einen Näherungswert errechnen. Der dürfte schon um ein vielfaches näher an der Wahrheit liegen.

Meiner Meinung nach ist die Heinsberg Studie in Bezug auf die Sterblichkeitsrate "schön" gerechnet. Weil eine viel zu hohe Infiziertenrate dabei raus kommt.

 

[Gaudloth]

Es wurde ja nur die IFR auf ganz Deutschland über tragen. Dafür ist es jetzt erstmal nicht problematisch, dass es ein starker Ausbruch in Gangelt war. Aber es gibt andere Punkte, die diese IFR nicht übertragbar machen. Zum Beispiel wie du erwähnt, dass Hochrisikogruppen nicht zum Karneval gehen, oder zumindest dass es Gruppen gibt, die eher nicht zum Karneval gehen.

 

[Detti04]

[...] Hier sei nur nochmal Dein Einschätzug der Überrepräsentation der Infizierten hingewiesen, wohingegen die Zahl der Infizierten tatsächlich eher unterrepräsentiert ist. [...]

Sollen wir also mal ein bisschen Statistik machen? So richtig schoen per Hand? Gerne.

Wenn ich aus einer Gesamtpopulation, in welcher P Prozent aller Menschen infiziert sind, eine Stichprobe von n Leuten ziehe, dann ist die Standardabweichung dieser Stichprobe

sigma = sqrt(P*(1-P)/n)

Sofern wir es mit einer Normalverteilung zu tun haben, liegt der in der Stichprobe beobachte Prozentsatz p in 95% aller Faelle im Intervall [P-1,96*sigma; P+1,96*sigma]. Soweit alles klar? Soll heissen: Wenn ich 100 Stichproben derselben Groesse ziehe und in diesen Stichproben die Prozentsaetze p1, p2, ..., p100 beobachte, dann erwarte ich, dass (im Schnitt) 95 dieser Werte in dem Intervall [P-1,96*sigma; P+1,96*sigma] liegen. Wenn sich p1, p2, ..., p100 individuell jeweils vom Prozentsatz P der Gesamtpopulation unterscheiden, dann tun sie das rein zufaellig. Nur, wenn einer dieser Werte ausserhalb dieses Intervalls liegt, dann sagt man, dass er von P (bei einem Signifikanzniveau von 5%) signifikant verschieden ist.

Das hast Du verstanden? War ja eh ganz einfach? Super! Dann setzten wir jetzt einfach mal ein, denn wir haben ja:

p = 2,39% ist der Prozentsatz der Infizierten in der Stichprobe
P = 3,08% ist der Prozentsatz der Infizierten in der Gesamtbevoelkerung
n = 919 ist die Groesse unserer Stichprobe

Es ergibt sich also eine Standardabweichung von

sigma = sqrt(0,0308*(1-0,0308)/919) = 0,0057 = 0,57%

und somit ein Intervall von

[3,08%-1,96*0,57%; 3,08%+1,96*0,57%] = [1,96%; 4,20%]

Der in der Stichprobe beobachtete Wert von 2,39% liegt aber genau in diesem Intervall. Das heisst: Bei einer Stichprobengroesse von 919 ist der in der Stichprobe beobachte Wert von 2,39% nicht signifikant verschieden vom Wert in der Gesamtpopulation, sondern weicht von diesem nur zufaellig ab.

Es gibt also ueberhaupt keinen Grund, deshalb irgendetwas hochskalieren oder sonstwie anpassen zu wollen. Vermutlich tun es die Autoren aus diesem Grund auch nicht. Aber sie lassen es sich nicht nehmen, auf eine vermeintliche "Unterrepraesentation" hinzudeuten, welche ihr Ergebnis noch spektakulaerer machen wuerde, statt zu erwaehnen, dass der Unterschied zwischen dem Wert in der Stichprobe und dem Wert in der Gesamtpopulation nur zufaelliger Natur ist.

Auch hier scheint also fuer die Autoren wieder zu gelten: Starke Aussage geht vor wissenschaftlicher Vorsicht.

 

[Holgy]

Du behauptest ja immer wieder starke Aussagen, die aber gar keine sind, um diese dann zu krisieren. Das ist in meinen Augen völlig witzlos. Natürlich kann man den Stichprobenwert vor dem Hintergrund der "amtlichen" Statistik diskutieren, auch wenn er sich nicht signifikant unterscheidet.

Ich schlage ein anderes, viel spannenderes Thema vor: Warum alle bisherige Forschung nicht mehr güldet bzw. Unsinn ist: p-Wert vs Bayes.

ach, mist, ich wollte es doch mit #68 bewenden lassen - jetzt aber wirklich!