计算机系统安全学术会议评价与排行

1. 中国计算机学会CCF

这个排名/评级并不完美，本文后面给出的很多排名/统计数据，都与其有冲突。个人认为，计算机系统安全领域，目前国内学术水平整体上仍然比较落后（中国大陆高校或研究单位在S&P这样的安全顶会上以第一作者单位发表的论文，每年也只有0~2篇；相比之下，美国可以保持年平均发表超过百篇的水平），所以CCF在安全领域给出的排名肯定是有瑕疵的。例如，系统安全或者计算机安全的四大顶会（号称Big4）：S&P （有时也简称Oakland，因为会议总是在Ｏakland这个地方召开）, CCS, Usenix security, NDSS（其中，CCF给NDSS的评级常年都只有Ｂ，最新的2022年版已经将NDSS调整为A类会议）。

但是，国内高校或研究机构目前还非常看重这个CCF给出的排名，所以到哪个村就唱哪个调吧。你可以参照这个排名投稿论文，但读论文的时候，还是应该参照其它排行找资料。

下面这个列表里，剔除了专攻密码学领域的会议。

中国计算机学会推荐国际学术会议
（网络与信息安全）

A类

B类（四小+CSFW）

C类 （部分）

2. 谷歌学术的指标排名（【2】）

众所周知，可以使用影响因子IF指标来对学术期刊进行评价，但是学术会议则没有IF。Google Scholar 使用其统计的论文引用情况计算了h5-index （在过去5年发表文章的h-index）和 h5-median指标，并据此对计算机会议+期刊进行综合评价。Google Scholar 仅给出了入围前二十的榜单，而且是期刊和会议混合排名。此处，我们仅列出学术会议的榜单，并且剔除了其中专攻密码学领域的会议（数据统计时间为2022.12）。Big4，仍然遥遥领先，一骑绝尘，但传统的“四小”却未能进入这个榜单。

补充说明：SOUPS 在旧版CCF的列表里归类为“计算机系统与高性能计算”，2022年新版已经归为安全领域。

3. 其它排行

3.1 清华大学计算机学科群推荐学术会议（参见【5】）

A类（剔除密码学会议）

毫无疑问的 Big 4 （S&P, CCS, Usenix security,  NDSS）

B类（剔除密码学会议）

第一部分是（四小+CSFW），这部分跟新版CCF列表一致：

CSFW、ESORICS、DSN、RAID、ACSAC

第二部分是CCF里面的一些C类会议，在清华的列表中归为B类（但清华没有C类）

SOUPS、PETS、DIMVA、AsiaCCS、WiSec、ACNS、IFIP-Sec

3.2 SUTD Prof. Jianying Zhou 维护的 Top Cyber Security Conferences Ranking 参见【4】

顶会仍然是毫无疑问的 Big 4 （S&P, CCS, Usenix security,  NDSS）

3.3 TAMU Prof. Guofei Gu（IEEE fellow）维护的 Computer Security Conference Ranking and Statistic 参见【3】

顶会仍然是毫无疑问的 Big 4 （S&P, CCS, Usenix security,  NDSS）—— 我只能说：“英雄所见略同”

4. 出自G.O.S.S.I.P小组的研究报告（【1】）

G.O.S.S.I.P小组的X5tar和Neorah和一位神秘分析师一起，统计了2021年全年安全学术会议的情况，并对排名方法进行了大幅度更新，发布了2021版的安全学术会议排行榜。

和去年相比，今年的排名我们首先基于如下一些客观事实：

1. 程序委员会学术活跃度：我们认为，安全学术会议的程序委员会的成员，其自身的研究能力非常重要，因此我们参考了Top Authors, the Systems Circus（https://nebelwelt.net/pubstats/top-authors-sys_sec.html）上安全研究人员发表顶级会议论文的数目，计算出了每个参与统计的会议，其程序委员会成员人均发表顶会论文数目的多少，借此反映程序委员会在安全研究领域学术活跃的程度。
2. 论文投稿数和录用数：这两项指标客观反映了学术会议的规模和活跃度；

在这些客观数据的支持下，我们同往年相比，扩大了对安全学术会议的评估，一共对26个安全学术会议进行了统计，它们是：

IEEE S&P、NDSS、USENIX Security、ACM CCS、ASIACCS、ACSAC、RAID、PETS、ACM WiSec、EuroS&P、ESORICS、DIMVA、ACNS、DSN、CODASPY、ICICS、ISC、Securecomm、Inscrypt、Trustcom、IFIP-sec

接下来，我们逐步为大家介绍这些安全会议的各项排名，最后给出我们的总排名。

4.1 程序委员会学术活跃度排名

在这一项指标中，我们很明显可以看到，传统四大顶会的PC在发表顶会论文的平均水平上非常之高：IEEE S&P作为最老牌的安全旗舰会议，在这项指标上以人均发表10.85篇顶会论文独占鳌头，而NDSS则以微弱劣势屈居第二。

4.2 录用论文认可度排名

我们在今年新引入了“录用论文认可度”这项指标，具体地，我们认为一个学术会议，其录用的论文数目和程序委员会规模应该相当，也就是说，用录用论文数目除以程序委员会的人数，结果数值越大，说明该会议的审稿人和投稿人的研究水平更为相当，也就是说，如果一个学术会议为了追求高录用率而一味拒稿，那在我们的排行榜上会得到低分（我们拒绝“超短裙”的出现）！当然，我们统计时，用录用论文数目除以程序委员会的人数，再乘以程序委员会的人均顶会论文数目，进一步考虑审稿人的水平。举个简单的例子，在2021年的IEEE S&P会议上，一共有132名PC（人均顶会数目10.84），而录用论文数是115篇，所以我们认为每篇论文平均得到了10.84 * 115 / 132的认可度。

在这项指标中，我们发现，NDSS中的录用论文获得了最高的认可度（唯一超过10），接下来是IEEE S&P和USENIX Security，同时我们注意到像ESORICS和DSN这样的CCF-B类安全会议，在这项指标上不尽如人意，排名比许多CCF-C类安全会议甚至无级别会议要差。

4.3 论文录用难度

很多人会用论文录用率去评估一个会议的论文录用难度，这样的衡量指标固然反映了问题，但是我们指出，除了关注录用率本身，我们也应该关注程序委员会学术活跃度，以表明投稿论文是否真正受到了安全研究社区的青睐。因此，我们用程序委员会的人均顶会论文数目除以该会议的论文录用率，来衡量该会议的论文录用难度（录用率低，表示录用难度大，如果是同样的录用率，程序委员会的学术活跃度越高，说明录用论文更为受到安全社区的关注）

我们发现，在这项指标上，传统的四大安全会议独占前四的格局被打破了！ACM AsiaCCS取代了ACM CCS，进入前四，这也说明ACM AsiaCCS在拥有一个高质量的程序委员会的同时，录用难度也是相关可观的！像ACM WiSec和DIMVA这类的CCF-C类会议，其实录用难度并不低，也侧面说明它们录用的论文质量还是相当不错的。至于传统的CCF-C类会议Trustcom，在这项指标上敬陪末座……

4.4 综合排名

今年我们决定在综合排名上进行大胆改革，我们引入了一项和社交网络相关的指标来为入围的26个会议进行最终排名：通过将投稿数目除以程序委员会人数，再乘以程序委员会的人均顶会论文数目，计算出一个会议的“学术社群热力度”。这项指标可以这样理解，即程序委员会本身的学术质量自然是越高越好，在此基础上，每个程序委员会成员平均能够吸引到的投稿数目越多，说明该会议在整个安全学术社区的影响力越大，也越有可能吸收到最好的研究成果。

通过此项数据分析，最后我们将安全学术会议分为了甲乙两组，甲组选择了12家安全会议，剩余14家安全会议进入乙组。首先来看看甲组的12家会议是谁：

可以看到，在甲组中，尽管传统四强依然是传统四强，但四家之间的差别很明显：IEEE S&P雄踞榜首，NDSS紧随其后且分数大幅领先身后的USENIX Security，而四强中的末席——ACM CCS同其身后的追赶者——ACM AsiaCCS之间的差距已经很小了。同时，我们经过最近两年的分析，完全可以得出这样的结论，传统意义上的“四小安全会议”（即ACSAC、RAID、DSN和ESORICS）已经可以更新了，我们认为ACSAC、RAID、PETS和ACM AsiaCCS更为配得上“四小安全会议”这一称号！同时，DIMVA、EuroS&P ACM WiSec这几个（规模和研究方向上）小众的安全会议，其质量完全不亚于一些老牌会议，强烈推荐大家阅读它们的录用论文！

再来看看乙组的排名：

在乙组中，过去两年表现不佳的老牌安全会议DSN依然雄风不再，即使在本组中作为唯一一家CCF-B类会议，也没能排名第一；而CANS和CODASPY作为没有被CCF列入会议列表的安全会议，其表现非常突出。相比而言，CCF会议列表中的Trustcom和IFIP-sec则表现十分糟糕，在我们的排名榜单上位居末尾。

参考文献

【1】2021年安全学术会议排行榜

【2】Top publications (Google Scholar)

【3】Computer Security Conference Ranking and Statistic

【4】Top Cyber Security Conferences Ranking

【5】清华大学计算机学科群 推荐学术会议和期刊列表（TH-CPL）

【本文完】