Suponhamos que temos dois médicos dentistas a classificar a convexidade facial nas mesmas 25 telerradiografia em três categorias (tipo classe I, tipo classe II e tipo classe III). Na base de dados ortodontia.sav encontram-se as classificações de ambos os médicos para as 25 telerradiografia. Podemos representar o resultado numa tabela de contingência (Figura 1.1), (ver o módulo tabelas de contingência e qui-quadrado do MedSatWeb) em que as linhas representam as respostas de um médico e as colunas as respostas do outro médico.
As frequências em que os dois médicos concordam são as que se encontram na diagonal da tabela. Podemos também calcular as correspondentes frequências que esperaríamos encontrar se se a classificação fosse feita ao acaso. Estes valores esperados são calculados da mesma forma que se calculam os valores esperados para o valor do qui-quadrado (ver o módulo tabelas de contingência e qui-quadrado do MedSatWeb). A proporção de concordância será o número de casos em que os dois observadores estão em concordância (soma das frequências da diagonal) sobre o número total de casos, no caso das 25 telerradiografias será (11+8+4)/25 = 0.92
A proporção de concordância esperada pelo acaso será a soma dos valores esperados da diaonal da tabela sobre o número total de casos. No caso das telerradiografias (5.7+2.9+0.8)/25 = 0.367
O kapa de Choen é uma medida de concordância que pondera a proporção de concordância observada para a concordância obtida pelo acaso, ou seja, é o quociente entre a proporção de concordância observada menos a proporção de concordância esperada pelo acaso e a concordância máxima, ou seja 1, menos a concordância esperada pelo acaso. No caso das telerradiografias seria: (0.92-0.367)/(1-0.367) = 0.87
O kapa ser igual a 1 implica que a proporção de concordância observada seja igual a 1, para que o numerador do quociente fique igual ao denominador, e portanto neste caso a concordância é perfeita, dado que todas as frequências estão na diagonal. Por outro lado o kapa ser igual a 0 implica que a proporção de concordância observada seja igual à esperada, para que o numerador seja 0 e portanto a concordância existente entre os dois observadores não é mais do que aquela que seria de esperar se os observadores classificassem as telerradiografias ao acaso. Embora não haja nenhuma critério para avaliar os valores de kapa entre 0 e 1 Landis e Koch em 1977 sugeriram a seguinte escala:
| kapa entre: | concordância: |
| 0.00 e 0.20 | pobre |
| 0.21 e 0.40 | razoável |
| 0.41 e 0.60 | moderada |
| 0.61 e 0.80 | substancial |
| 0.80 e 1.00 | boa |
Estas escala é contudo arbitrária já que o kapa depende não só do número de categorias como também da prevalência e do facto das proporções marginais das linhas e colunas serem diferentes. Deste modo é necessário tomar muitas precauções ao fazer a comparação entre o kapas de diferentes estudos.
No caso em que as variáveis são categóricas ordinais, como é este caso das telerradiografias (ver o módulo estatística descritiva do MedSatWeb para saber o que é uma variável categórica ordinal) poderíamos calcular o kapa ponderado, que toma em consideração o facto de a discordância ser mais ou menos longe da diagonal na tabela de contingência. Por exemplo, quando o médico 1 classifica uma telerradiografia como tipo classe I o kapa ponderado dá mais peso à discordância em que o médico 2 a classifica como tipo classe III do que à discordância em que o médico 2 a classifica como tipo classe II. O SPSS não calcula o kapa ponderado seguem-se no entanto alguns sites que calculam tanto o kapa como o kapa ponderado:
