1.卡帕西亚号模型

卡帕西又来发布趣味编程项目了~这次直接整了一个“大模型议会”(LLM Council)web app界面看起来和ChatGPT的聊天形式别无二致,但实际上当用户输入问题后,系统会通过OpenRouter调起多个大模型开会商议。

2.卡帕是不是bci成员

有意思的是,它们不仅会一起答题,而且还会互相评分、排序,最终将由主席模型给出一个统一答案。

卡帕西大模型横评方法太好玩了!四大AI匿名参赛评分,最强出乎意料(插图

3.卡帕介绍

卡帕西刚把这个应用的安装部署教程分享出来,就立马被不少网友码住:

卡帕西大模型横评方法太好玩了!四大AI匿名参赛评分,最强出乎意料(插图1

4.卡帕zd

更有甚者表示,或许以后模型自己评价模型本身就能变成一种新的“自动benchmark”:

卡帕西大模型横评方法太好玩了!四大AI匿名参赛评分,最强出乎意料(插图2

5.卡帕archive

畅销书《Python机器学习》作者也很看好这个思路:

卡帕西大模型横评方法太好玩了!四大AI匿名参赛评分,最强出乎意料(插图3

6.卡帕知乎

LLM议会怎么玩具体来说,卡帕西的这个LLM议会系统,主要可分为三步流程:Step 1:让多个模型同时回答一个问题首先使用中间层OpenRouter同时调用多个大模型,包括:GPT-5.1Gemini 3 Pro Preview。

7.卡卡西 帕克

Claude Sonnet 4.5Grok-4然后在同一问题下逐个收集它们的回复,并以标签视图的形式展示,以便用户进行检查Step 2:所有模型进行匿名互评这时,每个LLM都会收到其他LLM的回复为避免偏袒,对它们的身份都做了匿名化处理。

8.卡帕 kappa

然后要求模型根据准确性和洞察力对其他模型的回答质量进行评估,需要给出评分和详细理由Step 3:主席模型汇总最终回答LLM委员会将指定一名主席,将所有模型的回复汇总,并形成一个最终的答案,再转交给用户于是通过这个过程,就能直接对比不同模型,在处理同一个问题时的风格差异,而且能够直观地看到模型之间互相评价的过程。

9.卡帕现在

这套系统,其实是延续了卡帕西最近分享的用LLM分阶段深度阅读的项目。

卡帕西大模型横评方法太好玩了!四大AI匿名参赛评分,最强出乎意料(插图4

10.卡帕西亚号

PS:在GitHub上也收获了1.8k Stars。

卡帕西大模型横评方法太好玩了!四大AI匿名参赛评分,最强出乎意料(插图5

该项目将传统的阅读流程重塑为与LLM协作的流程,通常阅读一篇文章内容也分为三个阶段:1、先人工自己通读一次,获得整体感知和直觉理解2、然后将内容交给大模型处理,让它理解重难点、提取结构、总结内容等3、对文章细节进行

深度追问,例如“为什么作者这里会这样写?”最终就是将写作对象从人类读者转变为LLM读者,让LLM作为中介理解内容,再个性化翻译给不同的读者听当将大模型议会融入其中后,大模型们的商议结果也很有意思卡帕西发现,。

大模型一致认为最强、最有洞见的答案来自GPT-5.1,而Claude被公认为最弱,Gemini 3和Grok-4则排名位于中间但显然他对这个答案并不认同,在卡帕西的个人主观评价中,GPT-5.1内容丰富但是结构不够紧凑;Gemini 3答案更简洁凝练、信息处理得更好;而Claude答案过于简略。

此外,令人出乎意料的是,模型几乎很少出现明显的偏见,它们通常会愿意承认自己的答案不如另一个模型好总的来说,卡帕西认为虽然模型内部自评不一定与人类主观一致,但类似的多模型集成或许将成为一个巨大的可探索空间,甚至可能成为未来LLM产品的一个突破点。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。