足球预测模型代码ChatGPT代码生成飙升10%!北大华人一作:细化prompt,大幅改进大模型代码能力

2024-06-11 20:15:07 文章来源:百家号
足球预测模型代码ChatGPT代码生成飙升10%!北大华人一作:细化prompt,大幅改进大模型代码能力
新智元报道编辑:桃子【新智元导读】大模型代码生成能力如何,还得看你的「需求表达」好不好。在大模型时代,高质量的代码生成已经强大到,让人惊叹。从通过HumEval中67%测试的GPT-4,到近来各种开源大模型,比如CodeLlama,有望成为码农编码利器。然而,现实中,程序员们不会精炼表达需求,因此误导、限制了LLM生成优秀代码的能力。说白了,大模型代码能力行不行,取决于你的提示妙不妙。对此,来自北大实验室的研究团队提出了,通过与LLM聊天来细化需求的方法——ChatCoder。论文地址:https://arxiv.org/pdf/2311.00272.pdf具体来说,他们设计了一种聊天方案,大模型引导用户细化需求表达,进而比以前更精确、更完整,同时提高了大模型的性能。大模型是「码农」,你就是「产品经理」这里先举个例子,如下图,用户提出了需求:数据集#MBPP/443,要求ChatGPT编写一个python函数从给定的列表中找到「最大的负数」。基于原始需求,ChatGPT生成一个程序,该程序可以正确提取实际值最大的负数。然而,sanitized-MBPP的作者认为「最大负数」应该是指「绝对值最大的数」。因此由于「最大」这个表达不明确,导致LLM生成了错误的代码。而这里,可以通过需求细化(requirements refinement)来解决这个问题。需求细化就是揭示需求中的隐含依赖和隐藏结构的过程。通过提供更多细节,在需求细化的过程中可以补充不完整的信息,消除模糊不清的地方。在前面举的例子中,我们可以简单地向大语言模型说明「最大的」在这里特指「绝对值最大的」,揭示了「最大」这个词的隐藏结构。有了这一改进后的需求,大模型就可以生成符合MBPP作者期望的代码。不得不提的是,需求细化,需要人类用户和大模型的协作。一般来说,在需求工程的背景下,需求细化是通过软件供应商(编码人员)和软件客户(用户)之间的一系列交互来执行的。软件供应商分析客户需求的初始表达,并提出细化点。软件客户则需要根据这些点来作出响应,供应商才能完成一轮需求细化。无论是软件客户还是软件供应商,任何一方都不具备单独进行需求细化的资格。这样的劣势在于,客户通常不够了解软件设计和开发过程,无法撰写可用的需求说明;而供应商通常也不够了解客户的问题和业务领域,无法为满意的系统制定需求。而现在,在大模型时代,人类用户是客户,LLM是「供应商」。为了通过需求细化让大模型生成更好地满足用户需求的代码,就需要研发人类和LLM协作的方法。ChatCoder:聊天细化,生成代码北大提出了ChatCoder,这是通过聊天进行需求细化的大模型代码生成的新方法。整体框架如下图,非常简洁,通过聊天来辅助LLM和人类在需求细化方面的协作。关键是,如何与大型语言模型聊天。ChatCoder便提供了一个全新的聊天模式,其设计灵感来自IEEE SRS。接下来,我们具体看下ChatCoder这个框架。其整体结构是一个两轮的对话。第一阶段:Paraphrase和Exend由于人类用户表达需求可能语意模糊、不完整,ChatCoder使用提示要求LLM从几个角度解释用户的原始需求,即完整的需求规范必须清晰。对于需要改进的遗漏或有野心的论点,ChatCoder让大语言模型基于它从训练数据中获得的假设来扩展它们。人类用户需要查看细化的规范并纠正其中的错误。第二阶段:Going-deep和Loop-back在这一轮中,ChatCoder要求LLM询问人类用户,关于第一轮Paraphrase和Exend中信息损失,以及需要进一步改进的规范方面的困惑。人类用户需要回答这些问题,并回环纠正细化后的规范。经过两轮细化后,得到细化后的需求,然后发送给大型语言模型,得到用户想要的程序。ChatGPT代码能力10%实验设置数据集:Sanitized-MBPP、HumanEval。基准:gpt-3.5-turbo、gpt-4。研究问题为了评估ChatCoder,研究人员提出并测试了以下研究问题:1)与现有代码生成模型相比,ChatCoder的表现如何?2)ChatCoder是LLM和人类用户交流以进行需求细化的有效方法吗?3)人类参与ChatCoder带来了多少改进?ChatCoder性能表现首先我们来看第一个问题,主要是为了评估ChatCoder与基线相比的整体代码生成性能。如表1所示,ChatCoder通过大幅细化的需求,成功帮助LLM提高了其生成程序的执行精度。例如,对于gpt-3.5-turbo,其在Saniticed-MBPP上的pass@1从57.04%提高到71.25%,提升了14%。横向比较,对于gpt-3.5-turbo和gpt-4,Saniticed-MBPP上的性能改进比HumEval上的更突出。沟通效率的表现第二个问题是,评估ChatCoder是否是大模型和人类进行需求细化交流的有效方式。根据表2,所有3种与LLM进行需求细化的通信方法都有助于LLM改进其代码生成结果。这一发现指出,任何形式的需求细化在应用LLM生成代码时都是有用和重要的。与ChatCoder相比,Free Paraphrase和Free QA不会指示LLM执行某些类型的细化,从而导致较低的改进。人工干预评估如下评估了人工干预对ChatCoder的重要性,结果见表3。由于ChatCoder利用需求细化来提高大语言模型的代码生成性能,因此人工干预是必要的,也是不可忽视的。ChatCoder的过程是从给定的角度揭示需求的内部结构,这些角度没有明确表达,即使有歧义。解决歧义的答案只有人类用户知道。案例研究如下,作者提出了几个真实的测试用例,说明ChatCoder如何帮助LLM生成具有细化需求的代码。由于页面限制,研究人员从MBPP中选择了3个案例,涵盖了关于输入、输出和目的的细化,因为它们直接影响功能需求。参考资料:https://arxiv.org/abs/2311.00272

免责声明:本文及图片仅供学习研究之用,版权归属原作者,未经许可不得转载,不得用于任何商业用途。

文章链接:https://www.vzhan310.com/info/2608741

情报站
下拉加载数据
海外专家方案
Renato(雷纳托)
5连红
近5中5
秘鲁国家电视台导播,对于南美足坛非常了解
100%
命中率
【秘鲁场 冲6连红!】秘鲁国家电视台编导Renato海外信息:这队此举断送球队未来!
06-22 00:00
美洲杯
|
秘鲁
VS
智利
1小时前发布
Lordford(乐福)
6连红
近6中6
法国足球重度爱好者,尤善于法乙各队的分析预测
100%
命中率
【法国场 冲7连红!】法国老牌媒体人Lordford海外信息:这队面临进攻端困境!
06-21 19:00
欧洲杯
|
荷兰
VS
法国
3小时前发布
Perun(佩伦)
连中
近11中10
塞尔维亚Večernje novosti体育报记者,擅长推荐东欧各国的各级别联赛
91%
命中率
【斯洛伐克场】东欧Večernje novosti报记者前线来报:这队队内关系已经乌烟瘴气!
06-21 13:00
欧洲杯
|
斯洛伐克
VS
乌克兰
11小时前发布
さとうと(佐藤寿)
连中
近8中7
原《東京新聞 TOKYO Web》体育板块足球编辑,对亚洲足球圈有不俗的了解
88%
命中率
【大阪钢巴场】東京新聞TOKYO Web编辑海外信息:这两队国脚前锋都战意不俗!
06-22 09:30
日职联
|
大阪钢巴
VS
神户胜利船
13分钟前发布
Helvetia(海尔维希)
连中
近11中8
前匈牙利马札尔女足球员
73%
命中率
【欧洲杯 奥地利场】前匈牙利女足球员Helvetia海外信息:这队体能和球迷声势占优!
06-21 16:00
欧洲杯
|
波兰
VS
奥地利
4小时前发布
友情链接

V站客服:vzhanvip

举报电话:010- 84770926

联系电话

商务合作:010-53658967

合作QQ:64359757