您当前浏览器版本过低,为了不影响您的使用,建议您使用最新的谷歌浏览器、火狐浏览器、 360浏览器,更换浏览器后使用更流畅!(注意!双核浏览器请切换为极速模式)
400-607-9388

ChatGPT竟成Nature审稿人?近5000篇论文实测,82.4%作者表示很有帮助!

2023-10-12
40200

GPT-4,已经成功晋身审稿人!


最近,来自斯坦福大学等机构的研究者把3,096篇Nature系列论文和1,709篇ICLR等顶会文章丢给了GPT-4,让它生成评审意见、修改建议,然后和人类审稿人给出的意见相比较。

0a89abd037436801fe7057cd03a3de8.png
论文地址:https://arxiv.org/abs/2310.01783

结果,GPT-4不仅完美胜任了这项工作,甚至比人类做得还好!


它给出的意见中,超50%和至少一名人类审稿人一致。

另有超过82.4%的作者表示,GPT-4给出的意见相当有帮助,而且大多数用户打算再次使用LLM反馈系统。

论文作者James Zou总结道:我们仍然需要高质量的人工反馈,但LLM可以帮助作者在正式的同行评审之前,改进自己的论文初稿。

4eebd6dede5b26f06dcb92c144be79f.png

以下是对同一篇ICLR论文的LLM评论和人类评论,可以看出,LLM的眼光很毒辣,评论很一针见血。

比如与先前研究的对比上,人类审稿员表示:
比较是有缺陷的。尤其是GNN方法的标签一致性和中心一致性损失都没有考虑到。更公平的比较应该是使用两种损失都考虑到的GNN方法。

而GPT-4的评价是:
论文缺乏与现有方法的彻底的比较。虽然作者对于一些方法比较了基线,但还需要更全面的比较。

7171d6507956b962d24bfd4e49d9958.png

在理论可靠性上,人类审稿人给出了这样的意见——
恕我直言,理论的证明太琐碎了。最终结论是如果相似度合适,预测的动作就是准确的。由于模型正在学习正确的相似度,也就相当于说模型h如果经过良好的训练,输出就是正确的。这是显然的事。

而GPT-4的意见是:
作者应该提供更多理论分析,来比较信息传递和一致性约束之间的联系,这样能让读者更易于理解。
840fd4d3ad2dd080104a00b57d5aa56.png

在研究的可复现性上,人类审稿员希望论文能够提供代码,好让其他读者也能复现实验。

GPT-4对此也给出了相同意见:「作者应该提供有关实验设置的更多详细信息,来确保研究的可复现性。」

d9c863960d7c4918df3d82d9addb0f3.png


这项研究让我们知道,LLM确实可以用作改论文神器了!

版权声明:文章来源新智元,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。


已收藏 0
点赞 18

学术会议

【ACM出版 | 北京外国语大学主办】2025年人工智能与计算社会科学国际研讨会(AICSS 2025)
025人工智能与计算社会科学国际研讨会议将于2025年9月19日-2025年9月21日在中国北京举办,本次 “进化算法和智能控制国际研讨会”旨在共同探探讨如何利AI技术提升社会科学研究的深度和广度
2025-09-19
【经管文化主题|高录用快检索|合作Scopus】第七届经济管理与文化产业国际学术会议(ICEMCI 2025)
第七届经济管理与文化产业国际学术会议(ICEMCI 2025)将于8月29日-31日在中国苏州召开,本次会议主要围绕经济管理与文化产业相关主题展开广泛深入的研讨与交流。
2025-08-29
【8.29截稿 | 高录用 | 快速见刊】第七届土木工程、环境资源与能源材料国际学术会议(CCESEM 2025)
第七届土木工程、环境资源与能源材料国际学术会议(CCESEM 2025),将于2025年9月5日至7日在广州举行。节能技术/热能与动力工程/清洁能源开发/电气工程技术/机械工程和力学/电力系统
2025-09-05
【IEEE出版】第五届人工智能与智能制造国际研讨会(AIIM 2025)
第五届人工智能与智能制造国际研讨会(AIIM 2025)将于2025年9月19-21日在中国成都隆重举行,旨在将“人工智能”“机器人”“智能制造”“机械自动化”等学术领域的专家汇聚一堂促进学术交流。
2025-09-19
【IEEE出版!EI稳检索!接受纯工科】第六届现代化教育和信息管理国际学术会议(ICMEIM 2025)
第六届现代化教育和信息管理国际学术会议(ICMEIM 2025)大会旨在为从事现代化教育和信息管理相关领域的专家学者、工程技术人员、技术研发人员提供一个共享科研成果和前沿技术的平台
2025-09-19
【IEEE冠名会议】第七届IEEE能源、电力与电网国际学术会议(IEEE-ICEPG 2025)
第七届能源、电力与电网国际学术会议(ICEPG 2025)将于2025年9月12-14日在广州举办。会议由华南理工大学主办。会议主要围绕能源电力与电网等研究领域展开讨论。
2025-09-12
相关资讯

重磅!重新组建科学技术部!

3月7日,十四届全国人大一次会议在北京人民大会堂举行第二次全体会议,根据国务院关于提请审议国务院机构改革方案的议案,重新组建科学技术部。

53077

20

2023-03-07

关于2023年国家自然科学基金集中接收申请项目评审结果的通告

2023年国家自然科学基金项目申请集中接收期间,国家自然科学基金委员会共接收项目申请304333项,经初审和复审后共受理303329项。

52585

36

2023-08-24

985最新《Science》!重磅成果,世界上首次实现该突破!

三所985高校合作完成的最新科研成果《借位错实现陶瓷拉伸塑性变形》发表在国际顶级期刊《科学》(Science)!

4392

2

2024-08-02

211教授,出任高水平期刊副主编!

近日,福州大学土木工程学院赖志超教授应美国土木工程师学会《Journal of Structural Engineering》期刊邀请,出任该期刊副主编(Associate Editor),成为中国内地第4位担任该期刊副主编的学者。

3726

4

2024-07-25

985/211携手发刊!一滴水,登上Nature子刊!

自1859年以来,人们观察到离子在窄通道中沿压力驱动的水流运动,这种现象称为顺流离子传输。

3930

9

2024-07-23