Rogatio heeft gelijk; kappa kan ook -1 worden. Dit gebeurt echter alleen als er minder overeenstemming is dan je op basis van kans zou verwachten. Dit gebeurt dus nooit in de praktijk: tenzij er iets hele erg fout gaat in de beoordeling (of in situaties waar kappa wordt berekend, maar de verwachting niet is dat de beoordelingen hetzelfde zijn; dan wordt kappa dus voor een ander doel gebruikt).
Het gaat hier dus om de definitie van 'maximale disagreement'. Als je maximale disagreement formuleert als 'het oordeel van de ene beoordelaar geeft geen informatie over het oordeel van de andere beoordelaar', geldt dat je maximale disagreement hebt bij een kappa van 0. Als je maximale disagreement formuleert als 'wanneer mensen consequent anders oordelen', bereik je dat bij -1. De eerste definitie betreft statistische onafhankelijkheid; de tweede meer de 'common sense' definitie van disagreement.