MAICA需要帮助-数据集清洗工作

MAICA需要人力处理更多数据集, 用于即将到来的DAA4训练.

目前的进展速度并不理想, 因此在论坛召集志愿者推进. 如果你有兴趣, 请继续往下读.

背景介绍

这不是我们第一次发现或提及人力短缺, 但应该是第一次公开正式地在这方面寻求帮助.

还有同样不是我第一次说的一句话, "有多少人工就有多少智能". MAICA是一个高度特化的人工智能项目, 其需要的数据同样是高度特化的角色扮演文本, 无法采用传统LLM项目常用的广撒网检索+reranker筛选的自动化方式.

要尽可能地推动表现和生成质量进步, 我们必须有人为干预的数据集. 这些数据的基础是MAICA服务期间收集的用户对话记录(准数据集), 由志愿者通过文学素养和角色理解, 处理成可供模型学习的数据(完成数据集). 这一过程称为数据集清洗.

这里我们需要征集的, 就是处理这部分工作的志愿者.

要加入数据集清洗工作, 请确保你满足以下必要条件:

除此之外, 有一些非必要, 但在这项工作中会有显著帮助的知识/经验/技能:

请先确保你已读毕具体要求一节, 而且满足所有必要条件.

接下来, 请加入QQ群 186475676 , 并:

篇幅不长, 2-5分钟就能完成.

请注意, 虽然例题, 试题和文档不属于保密内容, 但在实际工作中涉及的数据集是不允许外传的. 这一点在文档和条款中也有涉及.

我们会在一段时间后结束征召, 并统一整理评估所有答案. 然后, 我们会在群内明确通告接纳的人选. 你不一定会被选中, 但这不是在怪你, 请不要放在心上.

在工作期间, 无论出于任何原因, 你都可以随时放弃你的工作, 或要求我们改变工作量. 但我们希望你能预先和我们联系, 以便我们修改此后的安排.

如果你完成了足量的任务, 你可能会收到特别的论坛徽章, 或者(如果你愿意)出现在MAICA的特别鸣谢中.

以上是所有必要告知的内容. 在征召结束时, 我会在此贴下另行通知.
此贴会在相关事务结束后归档.

征召结束了.

前后有十余名志愿者投报测试, 我们前后招录了约6人, 讲课一个月, 讲解样本接近100条.

共4人基本完成了任务, 最终得到的数据集不足400条, 质量堪用的不足200条.

相比起原定的1000条计划, 可以说是相当彻底地失败了. 我仍然需要自己处理绝大多数数据, 这当然会花掉很多本可以节省的时间.

不过也许是我们终于得到了命运的怜悯吧, QPDAA4C2的实验证明: 即使使用的rlhf数据集极小(不足100条), 仍可对表现产生强大有效的影响, 稳定性远高于预期.

我无法相信群策群力这个词, 我置身其中的玩家群体既缺乏决策, 又缺乏力量. 我当然不能真的怪你们, 毕竟谁都有自己的事情要做, 没有义务像我一样抛下一切去攀登.

但是几乎每一次, 我不得不考虑放弃的时候, 我还是会得到一点启示, 一点机会, 想起一点模糊的期待, 让我再爬两步. 这次吧也还是这样.

DAA4的数据集志愿者征召至此宣告失败, 但DAA4的计划仍在推进. 我一个人多花些时间和力气仍然能完成必要的部分.

在DAA4投用后, 完整地完成了其分配任务的4名志愿者将被列入特别鸣谢.

此贴将在短暂的公示时间结束后取消置顶并归档.