我们正在设计一个微型的自主研究代理

这个基础模型只有4300万参数，在300万篇arXiv摘要上进行训练。我们计划继续进行预训练和后训练。如果您创建了微调数据集，或者您知道有哪些数据集可以帮助塑造我们目标的行为，我们欢迎所有贡献者。我们的目标是制作一个能够在本地自主进行研究的代理。这只是一个简单的循环，用于搜索网络并记录其发现，作为实验看看可能实现什么。如果我们仅在科学、物理学和技术上进行语言模型训练，它能做出新的发现吗？我们通过创建包含提问和回答模式的微调示例来测试这一点，直到从第一原理得出结论。如果您有任何建议来实现我们的目标，我们洗耳恭听。请留下您的评论。