众所周知，对 GPT-3.5 进行微调是非常昂贵的。本文通过实验来验证手动微调模型是否可以接近 GPT-3.5 的性能，而成本只是 GPT-3.5 的一小部分。有趣的是，本文确实做到了。

在 SQL 任务和 functional representation 任务上的结果对比，本文发现：

• GPT-3.5 在两个数据集（Spider 数据集的子集以及 Viggo functional representation 数据集）上都比经过 Lora 微调的 Code Llama 34B 表现略微好一点。
• GPT-3.5 的训练成本高出 4-6 倍，部署成本也更高。

本实验的结论之一是微调 GPT-3.5 适用于初始验证工作，但在那之后，像 Llama 2 这样的模型可能是最佳选择，简单总结一下：

• 如果你想验证微调是解决特定任务 / 数据集的正确方法，又或者想要一个完全托管的环境，那么微调 GPT-3.5。
• 如果想省钱、想从数据集中获取最大性能、想要在训练和部署基础设施方面具有更大的灵活性、又或者想要保留一些私有数据，那么就微调类似 Llama 2 的这种开源模型。

接下来我们看看，本文是如何实现的。

下图为 Code Llama 34B 和 GPT-3.5 在 SQL 任务和 functional representation 任务上训练至收敛的性能。结果表明，GPT-3.5 在这两个任务上都取得了更好的准确率。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

在硬件使用上，实验使用的是 A40 GPU，每小时约 0.475 美元。

此外，实验选取了两个非常适合进行微调的数据集，Spider 数据集的子集以及 Viggo functional representation 数据集。

为了与 GPT-3.5 模型进行公平的比较，实验对 Llama 进行了最少超参数微调。

本文实验的两个关键选择是使用 Code Llama 34B 和 Lora 微调，而不是全参数微调。

实验在很大程度上遵循了有关 Lora 超参数微调的规则，Lora 适配器配置如下：

SQL 提示示例如下：

SQL 提示部分展示，完整提示请查看原博客

实验没有使用完整的 Spider 数据集，具体形式如下

department : Department_ID [ INT ] primary_key Name [ TEXT ] Creation [ TEXT ] Ranking [ INT ] Budget_in_Billions [ INT ] Num_Employees [ INT ] head : head_ID [ INT ] primary_key name [ TEXT ] born_state [ TEXT ] age [ INT ] management : department_ID [ INT ] primary_key management.department_ID = department.Department_ID head_ID [ INT ] management.head_ID = head.head_ID temporary_acting [ TEXT ]

实验选择使用 sql-create-context 数据集和 Spider 数据集的交集。为模型提供的上下文是一个 SQL 创建命令，如下所示：

CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)

sql 任务的代码和数据地址：https://github.com/samlhuillier/spider-sql-finetune

functional representation 提示的示例如下所示：

functional representation 提示部分展示，完整提示请查看原博客

输出如下所示：

verify_attribute(name[Little Big Adventure], rating[*erage], has_multiplayer[no], platforms[PlayStation])

评估阶段，两个实验很快就收敛了：

functional representation 任务代码和数据地址：https://github.com/samlhuillier/viggo-finetune

Glean

Glean是一个专为企业团队设计的AI搜索和知识发现工具

210 查看详情

了解更多内容，请查看原博客。

以上就是选择GPT-3.5、还是微调Llama 2等开源模型？综合比较后答案有了的详细内容，更多请关注其它相关文章！

# 别再  # 凌源搜索关键词排名  # 北京抖音seo原理  # seo博客攻略留痕  # qq名片赞免费平台推广网站便宜  # 哈尔滨网站建设工作  # 东营网站建设与推广公司  # 建设企业查询网站  # 白酒推广营销话术大全  # 实体商家营销推广公司  # 单页的网站该怎样优化  # 博客  # 数据  # 句话  # 腾讯  # 请查看  # 是一个  # 所示  # 的是  # 开源  # 关键词  # llama  # ai 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 如何进入安卓命令行  如何更新苹果ios16  笔记本如何使用固态硬盘  广东春运几点抢票  NoSQL数据库有哪些特点  typescript和es6先学哪个  交管12123协议头不完整怎么弄  手机换电池要多少钱  j*a怎么创建json数组  手机拍电脑屏幕有条纹怎么解决  如何用命令连接mysql  丰田type-c接口是什么  51单片机怎么连接端口  燃气热水器上的power是什么意思  j*a中怎么截取数组  51单片机怎么用flash  春运抢票需要什么软件抢  华为5g手机掉了怎么定位找回  单片机是怎么复位的  如何去除计算器的命令  a股等权市盈率中位数是什么意思  vivo怎么投屏到电视看爱奇艺教程  春运大巴上抢票怎么抢票  苹果16系统有哪些改变  广东春运抢票怎么抢的  typescript掌握哪些可以做项目  单片机怎么读取电流值  折叠屏手机哪个牌子性价比高  春运抢票技巧攻略  j*a数组元素怎么用  如何用dos命令启动u盘  老电脑如何装固态硬盘  如果公司ttm市盈率为负数是什么意思  如何清理固态硬盘  j*a怎么清除数组  typescript怎么写react  360n4怎么关闭锁屏壁纸  夸克网盘为什么解析错误  市盈率为负值是什么意思  j*a中数组怎么传递  如何ping测试命令  js怎么设置typescript  360n7lite怎么设置动态壁纸  db2命令中如何去到指定的副本  ai如何重复使用上一命令  夸克是什么用途  如何安装台式机固态硬盘  如何用adb命令停用系统软件  meet是什么意思  估值水平比较中市盈率E是什么意思