mt5:国内量化私募首次向国际顶会投递大模型研究论文提出全新大模型后训练方法
近日,量化私募念空科技向AI领域的国际顶会NIPS(Neural Information Processing Systems,神经信息处理系统大会)投递了与上海交大计算机学院合作的大模型研究论文,并于5月20日发表。这是中国量化私募首次在AI基础研究领域挑战全球顶级学术舞台。
念空科技提交的论文提出了一种全新的大模型后训练方法。此前,DeepSeek将整个训练过程被分成监督微调(sft)-强化学习(rl)-监督微调(sft)-强化学习(rl)四个过程,像是集中一段时间学习刷题(sft)、集中一段时间参加考试对考试结果进行思考总结(rl)。
念空科技所递交的论文的突破性成果在于,从人类的学习方法的经验得到启发,如果高频的在少量刷题和小测试经验总结之间切换,可能更有利于学习成绩(推理能力)的提高,最终实验发现,在三个不同的公开数据集上,念空科技提出的新的训练框架明显优于单独的sft、单独的rl以及简单混合sft和rl,通俗的说,该研究成果可以帮助大模型在同等训练量下变得更聪明。
据悉,念空科技创始人王啸在2025年成立了AllMind,全称为“上海全频思维人工智能科技有限公司”,是又一家量化私募孵化的大模型企业,专注于研究通用大语言模型(LLM)相关底层算法和工程技术。(澎湃新闻记者 孙铭蔚)
猜你喜欢
- 05-15mt5私募迎备案热潮 百亿量化
- 05-17mt5外汇百晓生:黄金大跌晚
- 05-22mt5量化派为多行业提供场景
- 05-17mt5外汇界新一:黄金做个人
- 05-17mt5长信消费精选量化股票A基
- 05-21mt5量化私募行业迎新一轮调
- 05-21mt5国家外汇管理局:4月下旬
- 05-21mt5国家外汇管理局副局长李
- 05-13mt5工银量化策略混合A