新闻中心

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

2024-06-19
浏览次数:
返回列表
清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

本文由清华大学、上海交通大学、悉尼大学、ucsb、香港中文大学、香港科技大学、香港科技大学(广州)联合完成。主要作者包括:潘乐怡(第一作者),清华大学本科生,研究方向为大模型水印等;刘瑷玮,清华大学博士生,研究方向为安全可信大模型等;何志威,上海交通大学博士生,研究方向为大模型水印、大模型智能体等;高梓添,悉尼大学本科生,研究方向为大模型水印;赵宣栋,ucsb博士生,研究方向为可信生成式ai等;胡旭明,香港科技大学/香港科技大学(广州)助理教授,研究方向为安全可信大模型、信息抽取等;闻立杰, 清华大学长聘副教授,研究方向为流程挖掘,自然语言处理 。

本文介绍了由清华等校联合推出的个开源的模型印算法。MarkLLM提供了统的模型印算法实现框架、直观的印算法机制可视化、案以及系统性的评估模块,旨在持研究员便地实验、理解和评估最新的印技术展。通过MarkLLM,作者期望在给研究者提供便利的同时加深公众对模型印技术的认知形成,进⾛推进相关研究的发展和推⼴应。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

  • 论⽂名称:MarkLLM: An Open-Source Toolkit for LLM Watermarking

  • 论⽂链接:https://arxiv.org/abs/2405.10051

  • 代码仓库:https://github.com/THU- BPM/MarkLLM

⼤模型⽔印技术的发展现状 & 仍然⾯临的问题 

⼤模型⽔印是近期新兴的⼀项技术,通过在模型⽣成⽂本过程中植⼊特定的特征,来实现机⽣⽂本的辨别和来源追溯。它可⽤于虚假新闻检测、维护学 术诚信、数据和模型版权保护等场景。

⽬前主流的⼤模型⽔印算法是在⼤模型推理阶段植⼊⽔印,这类⽅法主要分为两⼤算法家族:

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

  • KGW 家族:通过⼲预打分向量添加⽔印,将词表分为红绿列表,给绿⾊词加偏置,使输出偏好绿⾊词汇; 

  • Christ 家族:在打分向量⽣成后,⽤伪随机数⼲预采样过程,使⽔印⽂本与该随机数更相关,以此植⼊⽔印。 

然⽽,就像所有新兴技术⼀样,⼤语⾔模型⽔印技术在使⽤和理解上也⾯临⼀些挑战。 

1. 如何便捷地使⽤各个⼤模型⽔印算法进⾏⽔印添加和检测?

各类⼤模型⽔印算法不断涌现。然⽽它们的实现⼤都基于作者⾃⾝的需求,缺乏统⼀的类和调⽤接⼝设计,使得研究⼈员和⼤众需要投⼊⼤量精⼒去使⽤和复现这些算法。 

2. 如何直观地理解各个⼤模型⽔印算法的内部机制?

⼤模型⽔印算法的底层机制相对复杂,涉及对⼤模型⽣成⽂本过程中打分向量⽣成以及采样过程的⼲预,不便于研究者和⼤众理解。 

3. 如何便捷、全⾯的评估各个⼤模型⽔印算法?

评估⻆度和指标多样(包含可检测性、鲁棒性、对⽂本质量的影响等),且⼀次评估涉及多步骤,全⾯快速评估算法性能极具挑战。 

MarkLLM:⾸个开源⼤模型⽔印多功能⼯具包

易标AI 易标AI

告别低效手工,迎接AI标书新时代!3分钟智能生成,行业唯一具备查重功能,自动避雷废标项

易标AI 135 查看详情 易标AI

针对刚才提到的 3 个问题,作者设计并实现了⾯向⼤语⾔模型⽔印技术的⼯具包 MarkLLM。

MarkLLM 的主要贡献可总结如下:

1. 功能⻆度

  • 统⼀的⼤模型⽔印算法实现框架:⽀持两个关键⽔印算法家族(KGW 家族和 Christ 家族)的 9 种具体算法。

  • ⼀致、⽤⼾友好的顶层调⽤接⼝:1 ⾏代码实现添加⽔印、检测⽔印等各类操作。

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

  • 定制化的⼤模型⽔印算法机制可视化解决⽅案:使⽤⼾能够在各种配置下可视化不同⼤模型⽔印算法的内部机制。

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

  • 全⾯、系统的⼤模型⽔印算法评估模块:包含覆盖 3 个评估⻆度的共 12 个评估⼯具,以及两类⾃动化评估流⽔线。

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

2. 设计⻆度:模块化、松耦合架构设计,具有极⾼的可扩展性和灵活性。

3. 实验⻆度:作者⽤ MarkLLM 作为研究⼯具,对⽀持的 9 种算法做了 3 个评估⻆度的全⾯实验,在证明 MarkLLM 的实⽤性的同时,为后续研究提供了宝贵的数据参考。

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

4. 对开源社区的影响⼒:MarkLLM 在 GitHub 上线 以来已经获得了较多关注,⽬前已有 140+ stars, 并吸引了同⾏通过 Pull Request 进⾏代码贡献,以及在 issue 栏⽬进⾏交流讨论。

清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法

作者衷⼼希望 MarkLLM ⼯具包在为研究⼈员提供便利的同时,提⾼⼤众对⼤语⾔模型⽔印技术的理解和参与度,促进学术界和公众之间就该技术达成共识,推动⼤语⾔模型⽔印研究和应⽤的进⼀步发展,为⼤语⾔模型使⽤安全贡献⼒量。

作者真诚欢迎⼤家提出宝贵意⻅、相互交流学习, 也⼗分欢迎通过 pull request 贡献代码,通过⼤家的共同努⼒维护更好的⼤模型⽔印技术⽣态!

以上就是清华等高校推出首个开源大模型水印工具包MarkLLM,支持近10种最新水印算法的详细内容,更多请关注其它相关文章!


# ⼤模型⽔印  # markllm  # git  # type  # 清华  # 工程  # 长安网站建设开发费用  # 教育网络推广营销方式  # 地产3月营销推广方案  # 蓟门桥企业网站建设  # 珠海网站建设哪里靠谱  # 软文推广法网站  # 太原优化网站怎么样  # amazon怎么做关键词排名  # 家教网站怎么做推广的  # 宜昌本地网站推广公司  # 随机数  # 悉尼  # 科技大学  # 香港  # 清华大学  # 研究方向  # 首个  # 开源  # 工具包 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 索尼type-c接口是什么  typescript和es6先学哪个  在遥控器中power是什么意思  商誉是什么意思  unix时间戳是什么意思  33000日元等于多少人民币  哪些编程软件需要typescript  苹果16哪些会降价的  春运辅助抢票怎么抢  openwrt有什么用  广东春运抢票怎么抢的  恋爱软件免费聊天不收费的有哪些  为什么进行域名解析  early什么意思  固态硬盘如何查看盘符  5g手机4g卡怎么没有网络  如何右键打开命令窗口  pp是什么意思  为什么选择typescript  j*a 数组怎么循环输出  个人征信不好如何恢复 个人征信不良的全面修复指南  12306退票手续费最新规定  学typescript需要什么基础么  今天是农历多少号  软件命令行参数如何设置  j*a对数组怎么使用  路由器power灯一直亮是什么意思  电焊机power和oc是什么意思  摩托车上power是什么意思  为什么夸克运行不了  1kb等于多少字节  得物上怎么样申请退换货 得物上退换货详细指南(包含海外)  linux命令行如何使用中文输入法  type-c输入接口是什么  typescript接口怎么选  为什么夸克书架书单没了  交管12123协议头不完整怎么解决  苹果16有哪些自带配件  夸克缺什么登录不了  win10锁屏壁纸怎么换360锁屏壁纸吗  小屏折叠屏手机有哪些  夸克是什么用途  广东春运几点抢票  2025年哪个局域网聊天软件好用  如何修改cad命令  vb中的datediff函数怎么用 ​VB中的DateDiff函数:详尽指南  哪里要用typescript  电瓶车屏幕上显示power是什么意思  typescript如何遍历map  固态硬盘如何装入机箱 

搜索