Tak til Ventegodt og Merrick (V&M) for kommentarerne til vores læserbrev.

Inden vi svarer på de anførte punkter, vil vi gerne nævne, at den, der tier, ikke nødvendigvis samtykker, og blot fordi vi ikke har kritiseret de øvrige pointer i deres oprindelige læserbrev, betyder det ikke, at vi er enige med dem.

Vi beskæftiger os med forskningsmetoder relateret til systematiske oversigtsartikler, og vi reagerer imod at se litteraturen brugt selektivt og ukritisk.

Den omtalte systematiske oversigtsartikel af Leichsenring og Rabung er dårligt rapporteret og anvender kompliceret statistik, men desværre på en forkert måde. Den er publiceret i et fint tidsskrift, men det er ikke en garanti for høj metodologisk kvalitet.

Vi har i vores svar brugt samme punktopstilling som V&M.

1. NNT regnes ikke nødvendigvis i heltal, og V&M’s afrunding er for upræcis. I dette tilfælde er det dog mindre væsentligt, om NNT er 1 eller 2; begge dele er usandsynligt store effekter, som sjældent ses, og som bør føre til en kritisk granskning af metoderne.

2. + 3. Som beskrevet tidligere er forsøgene meget små, og små forsøg har øget risiko for bias, herunder publikationsbias. De metoder som anvendes i artiklen til at detektere publikationsbias er utilstrækkelige. Den ene virker ikke, når der er så få forsøg (korrelation mellem effektstørrelse ogforsøgsstørrelse), og den anden bygger på antagelser, som man aldrig kan verificere (Rosental’sfail-safe N).

4. V&M giver to citater, som skulle vise at der er ’korrigeret’ for bias, men de har misforstået, hvad der står. Det ene citat vedrører valget af formel for effektstørrelsen, og fortæller blot, at forfatterne har valgt en formel, som også virker, når forsøgene er små. Der er således tale om en rent matematisk problemstilling. Den anden omtalte ’korrektion’ for bias handler om, hvilke typer af forsøg, der skulle inkluderes.

Disse to forhold har intet at gøre med, om der er bias i designet ellerudførelsen af forsøgene, som kan føre til, at effekten af behandlingerne over- eller undervurderes.

Hvis sådanne fejl er til stede, hvilket meget ofte er tilfældet, kan man ikke korrigere for det medstatistik.

5. V&M løser problemet med den enorme risiko for bias pga. frafald på en meningsløs måde: ved at gange NNT med to! Vi ved ikke, hvor meget bias der er og kan derfor ikke korrigere for det. Forudsætningerne for V&M’s korrektion er, at den eneste kilde til bias skulle være frafaldet af patienter, hvilket er en helt urimelig antagelse.

6. V&M anfører, at tallene i vores eksempel er forkerte, men det er de ikke. De anfører to eksempler på effektstørrelser som er over 1,8, men disse studier indgår slet ikke i den pågældende analyse. Det er en uomtvistelig sandhed, at artiklens hovedresultat, dvs. en effekt på 1,8 på ’kompleksepsykiatriske lidelser’, i forhold til andre behandlinger, er baseret på otte forsøg, som individuelt finder effekter mellem 0,56 og 1,45. Dette illustrerer fint, at analysemetoden er forkert og giver ufortolkelige resultater.

Da artiklen blev publiceret i JAMA, kom der adskillige læserbreve som fremhævede fejlene, og derer skrevet en hel artikel om denne meget dårlige oversigtsartikel [1].

7. V&M anfører, at der indgik personer med skizofreni i forsøgene. I seks af de ottelodtrækningsforsøg, står der eksplicit i artiklerne, at der ikke indgik patienter med skizofreni.

I de resterende to nævnes der intet om skizofreni, men selv hvis der skulle have været enkeltepatienter med skizofreni, ville det være problematisk at konkludere noget særskilt om denne gruppe,blot fordi der samlet set var tegn på effekt. Man ville jo heller ikke konkludere, at astmamedicin bedrer åndedrættet for hjertesvigtspatienter, blot fordi nogle få patienter med hjertesvigt var blevet inkluderet i et forsøg med astmapatienter.

V&M skriver, at der kun hersker nogle små uenigheder mellem dem og os om tallenes størrelse. Men vores uenigheder om både tallenes størrelse og deres pålidelighed er meget store og afspejler formentlig en grundlæggende forskellig opfattelse af, hvad der er god videnskab.

Referencer:
[1] Psychother Psychosom 2010;79:208-16 : Is longer-term psychodynamic psychotherapy more effective than shorter-term therapies? Review and critique of the evidence