Hoe kan ik een Inter - Rater overeenkomst Bereken

Een interbeoordelaar overeenkomst is een maat voor hoe consistente metingen zijn tussen twee of meer waarnemers ( of " beoordelaars " ) . Bijvoorbeeld medische onderzoekers gebruiken vaak een groep artsen om de effecten van behandeling experiment observeren en categoriseren . Het meten van de consistentie tussen de waarnemers is belangrijk omdat we willen er zeker van zijn dat eventuele effecten die we zien zijn te wijten aan ons experiment en niet te grote verschillen tussen de waarnemers . De primaire statistiek gebruikt om de inter-beoordelaar akkoord te meten is " kappa " genoemd. Instructies
1

procent akkoord berekenen door het aantal waarnemingen dat het eens over het totale aantal waarnemingen te delen . Neem het voorbeeld van een experiment met 100 patiënten die een behandeling voor astma . Twee artsen wordt gevraagd om de patiënten te categoriseren in twee categorieën : gecontroleerde (ja ) of niet gecontroleerd (geen ) astmasymptomen . Het resultaat kan er zo uitzien :

Beide Raters Ja 70

Beide Raters No 15

Rater # 1 Ja /Rater # 2 nr. 10

Rater # 1 Geen /Rater # 2 Ja 5

Totaal waarnemingen : 100

in dit voorbeeld zou het percentage overeenkomst ( Pa ) het aantal waarnemingen waarin de beoordelaars het eens ( 70 15 zijn ) gedeeld door de totale waarnemingen (100 ) , of 85 procent . Dit wordt gebruikt in de teller in de laatste vergelijking.
2

de verwachte overeenkomst berekenen door toeval . Enkele waargenomen overeenkomst als gevolg van puur geluk . We kunnen berekenen hoeveel overeenkomst zou worden gezien als de waarnemingen waren volledig willekeurig

In ons voorbeeld : .

Beide Ja 70

Beide Geen 15

# 1YES /# 2 Geen 10

# 1 Nee /# 2 Ja 5

Totaal waarnemingen : 100

Dr # 1 nominaal Ja 80/100 of 80 procent van de tijd ( .80 ) .

Dr # 1 nominaal nr. 20/100 of 20 procent van de tijd ( 0,20 ) .

Dr # 2 beoordeeld Ja 75/100 of 75 procent van de tijd ( 0,75 ) .

Dr # 2 beoordeeld nr. 25/100 of 25 procent van de tijd ( 0,25 ) .

Als de waarnemingen waren willekeurig, zou de kans op zowel waardering Ja zijn ( .80 ) x ( .75 ) , of 60 procent , en de kans op beide cijfer nr zou zijn ( 0,15 ) x ( 0,25 ) , of 4 procent

Dus de totale waarschijnlijkheid van overeenkomst te wijten aan het toeval ( Pe ) zou de som van deze zijn. : ( .60 ) + ( .04 ) , of 64 procent . Dit zal worden gebruikt in de teller en de noemer van de uiteindelijke vergelijking
3

berekenen kappa met behulp van de volgende vergelijking : .

K = ( Pa ) - ( Pe ) op

---------------

1 - ( Pe ) op

In ons voorbeeld ,

k = ( .85 ) - ( .64 ) /1 - ( .64 ) = ( 0,58 ) of 58 procent
4

Evalueer kappa om te bepalen of interbeoordelaar overeenkomst is sterk. Een goede vuistregel is dat kappas boven de 80 procent zijn uitstekend en meer dan 60 procent zijn goed. Iets minder dan 60 procent is minder dan optimale overeenkomst beschouwd .

In ons voorbeeld , 58 procent is op de grens van goede interbeoordelaarsbetrouwbaarheid en studie resultaten moeten worden geïnterpreteerd met dit in gedachten .

5

Evalueer kappa voor meer dan twee beoordelaars met behulp van Fleiss ' kappa berekeningen. Dit is een veel ingewikkelder berekening die moet worden gedaan door de computer .