Ctrl+K

cohen_kappa_score#

sklearn.metrics.cohen_kappa_score(y1, y2, *, labels=None, weights=None, sample_weight=None)[源代码]#

计算Cohen的kappa：衡量注释者之间一致性的统计数据。

该函数计算Cohen的kappa [1], 表示两个注释者在分类问题上的一致程度的分数。它被定义为

\[\kappa =（p_o - p_e）/（1 - p_e）\]

哪里 \(p_o\) 是分配给任何样本的标签的经验一致概率（观察到的一致率），以及 \(p_e\) 是两个注释者随机分配标签时的预期协议。 \(p_e\) 使用每个注释者对类别标签的经验先验来估计 [2].

阅读更多的 User Guide .

参数:
y1形状类似阵列（n_samples，）

由第一个注释者分配的标签。

y2形状类似阵列（n_samples，）

由第二个注释者分配的标签。kappa统计是对称的，因此交换 y1 和 y2 不会改变价值。

labels形状类似数组（n_classes，），默认=无

用于索引矩阵的标签列表。这可以用于选择标签的子集。如果 None ，至少出现一次的所有标签 y1 或 y2 被使用。

weights'线性'，'，默认=无

加权类型计算分数。 None 意味着未加权;“线性”意味着线性加权;“二次”意味着二次加权。

sample_weight形状类似数组（n_samples，），默认=无

样本重量。

返回:
kappa浮子

kappa统计量，是-1到1之间的数字。最大值意味着完全同意;零或更低意味着机会同意。

引用

[2]

R. Artstein and M. Poesio (2008). "Inter-coder agreement for computational linguistics". Computational Linguistics 34(4):555-596 <https://www.mitpressjournals.org/doi/pdf/10.1162/coli.07-034-R2> _.

[3]

Wikipedia entry for the Cohen's kappa <https://en.wikipedia.org/wiki/Cohen%27s_kappa> _.

示例

>>> from sklearn.metrics import cohen_kappa_score
>>> y1 = ["negative", "positive", "negative", "neutral", "positive"]
>>> y2 = ["negative", "positive", "negative", "neutral", "negative"]
>>> cohen_kappa_score(y1, y2)
np.float64(0.6875)
On this page