查看: 1129|回复: 8

[其他求助] 推理谜题数据集?

简洁模式
发表于 2023-11-8 00:12:33 广西| 2023-11-8 15:27编辑 | 来自小霸王手机 | 显示全部楼层
大家好,

我是一名自然语言处理(NLP)方向的科研人员。目前大规模语言模型(LLM)的推理能力是人工智能(AI)研究的一个热点。

我曾经了解过一些推理故事,玩过一些侦探游戏,我个人觉得推理谜题——尤其是各种信息互相矛盾/互相关联的谜题——非常适合用来研究LLM用作agent(我也不知道怎么翻译好)进行链状、树状、图状的复杂推理。

目前世界上的相关研究并不多,面临最大的难处是没有可用的开源数据集,因为不公开的数据集会导致实验不可复现,这在AI研究中是不被接受的:大部分LLM复杂推理的工作只能靠作者人工构造任务,如排序、24点等,这些小任务并不能全面反映模型的推理能力;今年初曾有一篇论文与国外侦探推理网站合作,用网站数据做了一个数据集并公开发表(名为True Detective),但形式仅限于选择题,且故事篇幅较短(一般约200-300个词);7月有一篇arxiv预印版论文在数据收集一节只说他们是从网上收集公开的谜题,但检验方式没写清楚(实验结果只报了分数,文中没写清楚是什么分数)。

我希望大家能给我一些建议,有没有可能找到开源的推理谜题库?什么语言都可以,因为我的研究方向是multilinguality(多语言性?),我会用机器翻译模型把谜题翻译成中英法德等多种语言。
1 | 发表于 2023-11-8 10:22:43 广东| 显示全部楼层
一直就在想会不会有推理爱好者大神用谜题训练AI,还真的有人做了
之前在某发展史里听说推理谜题是国内论坛独有的类型,国外推理网站上的题目大多就是像你说的那种一分钟破案级别的。而且现在推理谜题创作和发表基本都分散在在论坛、社刊、公众号和群之类,现成的完整谜题库是不会有
学院的三百道官方活动题和一些优质谜题不晓得能不能行,还有其他一些曾有大量谜题的论坛,就是版权有一部分属于原作者,处理起来不知道会不会比较麻烦

@名偵探小品 考虑一下赚钱机会(bushi)?
登录帐号可查看完整回帖内容
1 | 发表于 2023-11-8 16:16:02 陕西| 2023-11-8 16:19编辑 | 显示全部楼层
你们对版权风险的要求,是事先就要确保题库中的题都不侵权,还是类似避风港事后侵删?
只是数据集的话,隔壁推理罪有个题库(不少三分钟推理题),脑壳也是个大题库(里面有专门的推理故事分类),还有重量不重质的33IQ,都可联系站长寻求合作的可能。但这三个,加上学院的案发现场逻辑学院俩板块,细抠起来,都有不少未经授权的转载题,之所以还没被删只是还没被人举报罢了,直接拿去做数据集(即使他们的站长同意也)可能有第三方侵权风险。
另外,你想找广义的puzzle题库(包括密码、脑筋急转弯、谜语、图形、数学趣题、puzzle hunt题型等),还是狭义的“侦探故事”类题库?若是前者,puzzling.stackexchange.com也是不错的来源,而且pse社群很重版权,上面的题目都是以CC-BY-SA licence with attribution required发布,且格式良好,挺适合做数据集的,不过侦探故事类题不多
登录帐号可查看完整回帖内容
| 发表于 2023-11-8 16:23:25 广东| 发自安卓客户端 | 显示全部楼层
哥们厉害了,虽然我不能提供这个数据库或者有关信息,但是很支持你的研究也很期待推理在新时代人工智能时代有新的发展
尚未登录
您需要登录后才可以回帖 登录 | 加入学院