元审查

本文档是Coala元审查流程的指南。

什么是Meta-Review?

人们通过提供反馈来回应对拉请求的评论。表情符号使反馈的发送和接收变得更加容易,而不需要太长的评论帖子。这些表情符号叫做 reactions 关于GITHUB或 award emoji 在GitLab上。他们被人们用来公开表达他们对评论评论的感受,评论评论向评论作者和所有其他成员提供反馈。

GitHub上有6种类型的反应:

名字

Markdown

统一码

表情符号

THUMBS_UP

:+1:

U+1F44D

👍

THUMBS_DOWN

:-1:

U+1F44E

👎

LAUGH

:smile:

U+1F604

😄

HOORAY

:tada:

U+1F389

🎉

CONFUSED

:confused

U+1F615

😕

HEART

:heart:

U+FE0F

❤️

这些反应是对评论的评论,因此我们称之为元评论。为了鼓励人们做元评论,我们建立了一个元评论系统,它收集反应,分析它们,并使用这些信息来改进我们的评论过程和评论的质量。我们根据人们收到的反应给他们的评论打分。打分后,在Coala社区网站上显示排行榜。

目前,只收集和分析拇指向上和拇指向下,因为它们是最常用的,表达了强烈而明确的感觉:拇指向上表示评论写得很好,有帮助,而拇指向下表示评论是误导的,甚至更糟糕的是,违反了评论 coala Community Code of Conduct .

备注

目前只有GitHub正在接受分析。未来将提供对GitLab的支持。

元审查流程

Coala的元审查流程如下:

  1. 审阅者创建他们的审阅。

  2. 任何人,特别是拉取请求的作者,都可以通过GitHub上的反应进行元审查(Thumbs_up,Thumbs_down)。

  3. 元审查信息将自动收集和分析:

    • 元评论员将获得加分,以鼓励这种行为。

    • 元被评论者将被给予正分(在收到大拇指时)或负分(在收到大拇指向下时)。这些分数根据元评论者的得分进行加权。在元评论系统中得分较高的人对其他人的影响会更大,所以请仔细做元评论。

备注

Due to limitations on GitHub, review summary (example) is not able to be meta-reviewed. If your review is not related to any particular line, leaving a comment (example) is encouraged.

小心

不要 edit删除 您在元审查之后的评论。如果你这样做,你就是在破坏来自社区的反馈。这被认为是一种不正当的行为,将给你一个负面的分数。

自动评分过程

完整的排行榜可以在 Meta-review score ranking list 。分数是基于一个人收到的正面(拇指向上)和负面(拇指向下)反应的数量,以及一个人给出的正面和负面反应的数量。该公式可在 cEP-0019.md 。有关计算的详细信息,请参阅 meta_review/handler.py .

备注

评分过程是自动化的,并将不时进行完善。作为一个元评论人,你不需要太在意元评论系统的细节。只要确保你遵循元审查流程就可以了!

迭代加权因子

当他们的评论获得赞许时,人们会得到分数,而当他们的评论获得赞许时,他们会失去分数。他们得多少分取决于权重系数。每次元审查系统运行时,权重因子都会迭代更新。本节说明如何计算权重系数。

一个人的得分越高,他们的影响力就越大,因此他们的元评论就更有价值。

例如,在前一次迭代中,爱丽丝得了2分,鲍勃得了0.8分,查理得了10分。计算演示将如下所示:

>>> c = [2, 0.8, 10]
>>> max_score = float(max(c))
>>> result = [i / max_score for i in c]
>>> print(result)
[0.2, 0.08, 1.0]
>>> result_adjust = [i * 0.9 + 0.1 for i in result]  # adjust
>>> result_rounded = [round(i, 3) for i in result_adjust]
>>> print(result_rounded)
[0.28, 0.172, 1.0]

如演示所示,爱丽丝、鲍勃和查理的权重因子将分别为0.28、0.172、1.0。这意味着查理的声音比爱丽丝和鲍勃多得多。查理竖起大拇指所得的分数几乎等于鲍勃竖起6个大拇指所得的总分。

任何在前一次运行中获得负分的人都将拥有0的权重因子。

总而言之,权重因子是一个从0到1的浮点数。