澎湃Logo
下载客户端

登录

无障碍
  • +1

微软仅凭“提示工程”让GPT-4成医学专家,超过一众高度微调模型,专业测试准确率首次超90%

2023-12-05 15:37
来源:澎湃新闻·澎湃号·湃客
字号

西风 发自 凹非寺

量子位 | 公众号 QbitAI

微软最新研究再次证明了提示工程的威力——

无需额外微调,无需专家策划,仅凭提示,GPT-4就能化身“专家”。

使用他们提出的最新提示策略Medprompt,在医疗专业领域,GPT-4在MultiMed QA九个测试集中取得最优结果。

在MedQA数据集(美国医师执照考试题)上,Medprompt让GPT-4的准确率首次超过90%,超越BioGPT和Med-PaLM等一众微调方法。

研究人员还表示Medprompt方法是通用的,不仅适用于医学,还可以推广到电气工程、机器学习、法律等专业中。

这项研究在X(原Twitter)一经分享,就引发众多网友关注。

沃顿商学院教授Ethan Mollick、Artificial Intuition作者Carlos E. Perez等都有转发分享。

Carlos E. Perez直呼“出色的提示策略可以甩微调一大截”:

有网友表示早就有这种预感,现在能看到结果出来,真的是“so cool”:

还有网友表示这真的很“激进”:

GPT-4是一项能改变行业的技术,而我们还远没有触及提示的极限,也未达到微调极限。

组合提示策略,“变身”专家

Medprompt是多种提示策略的组合体,包含三大法宝:

动态少样本选择(Dynamic few-shot selection)

自生成思维链(Self-generated chain of thought)

选项洗牌集成(Choice shuffling ensemble)

下面我们来一一介绍。

动态少样本选择

少样本学习是让模型快速学习上下文的一种有效的方法。简单来说,就是输入一些示例,让模型快速适应特定领域,并学习遵循任务的格式。

这种用于特定任务提示的少样本示例通常是固定的,所以对示例的代表性和广泛性有较高的要求。

之前一种方法是让领域专家手动制作范例,但即便如此,也不能保证专家策划的固定的少样本示例在每个任务中都有代表性。

因此,微软研究人员提出了动态少样本示例的方法。

想法是,任务训练集可以作为少样本示例的来源,如果训练集足够大,那就可以为不同的任务输入选择不同的少样本示例。

具体来说,研究人员先利用text-embedding-ada-002模型为每个训练样本和测试样本生成向量表示。然后,对于每个测试样本,基于向量相似度,从训练样本中挑选出最相似的k个样本。

与微调方法相比,动态少样本选择利用了训练数据,但不需要对模型参数进行大量更新。

自生成思维链

思维链(CoT)方法就是让模型一步一步思考,生成一系列中间推理步骤。

之前一种方法也是依赖专家手动编写少量的带有提示思维链的示例。

在这里,研究人员发现,可以简单地要求GPT-4使用以下提示为训练示例生成思维链:

但研究人员也指出这种自动生成的思维链可能包含错误的推理步骤,于是设置了一个验证标签作为过滤器,可以有效减少错误。

与在Med-PaLM 2模型中专家手工制作的思维链示例相比,GPT-4生成的思维链基本原理更长,而且分步推理逻辑更细粒度。

选项洗牌集成

除此之外,GPT-4在做选择题时,可能会存在一种偏见,就是不管选项内容是什么,它会偏向总是选择A,或者总是选择B,这就是位置偏差。

为了减少这个问题,研究人员选择将原来的选项顺序打乱重排。比如原先选项是ABCD,可以变成BCDA、CDAB。

然后让GPT-4做多轮预测,每轮使用选项的一个不同排列顺序。如此一来“迫使”GPT-4考虑选项的内容。

最后对多轮预测结果做个投票,选择最一致、正确的选项。

将以上几种提示策略组合在一起就是Medprompt,下面来看测试结果。

多项测试最优

在测试中,研究人员采用了MultiMed QA评估基准。

使用Medprompt提示策略的GPT-4,在MultiMedQA的九个基准数据集中均取得最高分,优于Flan-PaLM 540B、Med-PaLM 2。

此外研究人员还讨论了Medprompt策略在“Eyes-Off”数据上的表现,也就是在训练或优化过程中模型未曾见过的数据中的表现,用于检验模型是否过拟合训练数据。

结果GPT-4结合Medprompt策略在多个医学基准数据集上表现出色,平均准确率达到了91.3%。

研究人员还在MedQA数据集上进行了消融实验,探索了三个组件对于整体性能的相对贡献。

其中自动生成思维链步骤对性能提升的贡献最大。

而且GPT-4自动生成的思维链比Med-PaLM 2中专家策划的得分更高:

最后,研究人员还探索了Medprompt的跨域泛化能力,取用了MMLU基准中的六个不同的数据集,涵盖了电气工程、机器学习、哲学、专业会计、专业法律和专业心理学的问题。

还添加了另外两个包含NCLEX(美国护士执照考试)问题的数据集。

结果显示,Medprompt在这些数据集上的效果与在MultiMedQA医学数据集上的提升幅度相近,平均准确率提高了7.3%。

论文链接:https://arxiv.org/pdf/2311.16452.pdf

参考链接:

[1]https://twitter.com/erichorvitz/status/1729854235443884385

[2]https://twitter.com/emollick/status/1729733749657473327

— 完 —

科技前沿进展日日相见 ~

原标题:《微软仅凭「提示工程」让GPT-4成医学专家!超过一众高度微调模型,专业测试准确率首次超90%》

阅读原文

    天下网标王产品网站优化的公司普宁推广排名优化SEO网络网站网站优化难做吗沧州优化网站公司商丘外贸网站优化怎么样咸宁工厂网站优化多少钱南京怎样优化网站好吗南阳如何优化网站靖江网站优化怎么做云南昆明网站关键词排名推广优化无锡常州网站优化厂商网站的网络优化邯郸馆陶网站优化推广云南网站建设优化企业宁陵专业网站seo优化多少钱莱州如何优化网站伊滨区网站优化seo购物网站网络优化沁阳百度网站优化报价单网站优化按天收费北京网站优化专家鄂州工厂网站优化多少钱吉林网站seo优化多少钱郑州seo网站优化大鹏网站关键词优化哪家好南通市网站关键词优化厂家佛山网站首页关键词优化推广衢州龙游县百度网站优化如何优化网站快速排名沛县网站优化联系电话香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声卫健委通报少年有偿捐血浆16次猝死汪小菲曝离婚始末何赛飞追着代拍打雅江山火三名扑火人员牺牲系谣言男子被猫抓伤后确诊“猫抓病”周杰伦一审败诉网易中国拥有亿元资产的家庭达13.3万户315晚会后胖东来又人满为患了高校汽车撞人致3死16伤 司机系学生张家界的山上“长”满了韩国人?张立群任西安交通大学校长手机成瘾是影响睡眠质量重要因素网友洛杉矶偶遇贾玲“重生之我在北大当嫡校长”单亲妈妈陷入热恋 14岁儿子报警倪萍分享减重40斤方法杨倩无缘巴黎奥运考生莫言也上北大硕士复试名单了许家印被限制高消费奥巴马现身唐宁街 黑色着装引猜测专访95后高颜值猪保姆男孩8年未见母亲被告知被遗忘七年后宇文玥被薅头发捞上岸郑州一火锅店爆改成麻辣烫店西双版纳热带植物园回应蜉蝣大爆发沉迷短剧的人就像掉进了杀猪盘当地回应沈阳致3死车祸车主疑毒驾开除党籍5年后 原水城县长再被查凯特王妃现身!外出购物视频曝光初中生遭15人围殴自卫刺伤3人判无罪事业单位女子向同事水杯投不明物质男子被流浪猫绊倒 投喂者赔24万外国人感慨凌晨的中国很安全路边卖淀粉肠阿姨主动出示声明书胖东来员工每周单休无小长假王树国卸任西安交大校长 师生送别小米汽车超级工厂正式揭幕黑马情侣提车了妈妈回应孩子在校撞护栏坠楼校方回应护栏损坏小学生课间坠楼房客欠租失踪 房东直发愁专家建议不必谈骨泥色变老人退休金被冒领16年 金额超20万西藏招商引资投资者子女可当地高考特朗普无法缴纳4.54亿美元罚金浙江一高校内汽车冲撞行人 多人受伤

    天下网标王 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化