新闻中心

【AI达人创造营第二期】基于LSTM的现代诗生成器

2025-07-17
浏览次数:
返回列表
本项目利用LSTM模型实现现代诗自动生成,解决个人创作难题。数据集含约2000首爬取的现代情诗,另混合部分古诗补充数据量。采用LSTM模型,其通过逻辑门优化长文本语义理解。项目含训练与使用文件,models文件夹存两种风格模型。加载模型时,输入前缀和开头即可生成诗句,虽部分内容语义模糊,但能生成连贯文本,实现核心功能。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

【ai达人创造营第二期】基于lstm的现代诗生成器 -

基于LSTM自动生成现代诗

数据集使用

本项目一共使用了两个数据集。

  1. 现代情诗的数据集,是我通过网络爬虫爬取的现代诗,大致有2000首。
  2. 古诗集数据,考虑到数据集1的仅有0.5M,数据量较少,所以混合了部分古诗数据进行训练。

LSTM模型简介

LSTM是一种非常流行的循环神经网络,相比较于simpleRNN对于较长的句子理解能力较差(因为RNN不加选择地更新ceil state,导致对于前文地信息地丢失),而LSTM通过增加四个逻辑门,有选择地更新ceil state,这使得LSTM对于长文本语义理解上下推断有着更加好地效果。 具体地原理有很多大佬讲过,大家可以看看这份写的相当透彻的Understanding LSTM network。

美图云修 美图云修

商业级AI影像处理工具

美图云修 50 查看详情 美图云修

效果演示

我寄愁心与明月 一棵落落山染来 我沿着一匹回银花的曲子高走短过的那样 我已是那么都在秋天 没有停动地流动一根线儿 一个人在他的身口里 你的手里还在我的身送面指成远 我不成日亮 你不会把彼此装上
我寄愁心与明月。都将别,一回一回,莫问无情何。
无事无人知,无生无与非

模型训练和模型评估

详细的训练流程在参见model_LSTM.ipynb,其中很全面地写了注释和核心思想。

文件组织

  • main.ipynb可以直接拿过来玩,自动加载训练好的模型
  • model_LSTM.ipynb是训练文件,写了详细的注释,调用它则可以训练自己的模型。
  • 【静态图测试】文件夹被废弃了。。。原本打算导出静态图模型但遇到了一点点问题,挖个坑回头解决
  • 【models】文件夹存放了不同数量样本训练好的两个模型,可以直接调用
  • 【vocab】文件夹存放用于制作词汇表的数据

加载模型进行测试

In [1]
# 导入相关依赖from paddle.io import Datasetimport paddle.fluid as fluidimport numpy as npimport paddleimport paddle.nnfrom paddlenlp.embeddings import TokenEmbeddingfrom paddlenlp.data import JiebaTokenizer,Vocabimport visualdl
In [3]
# 定义超参数class Config(object):
    # version = 'models/version1-modern/version1.pdparams' # 现代诗风格
    version = 'models/version2-ancient/version2.pdparams' # 古体诗风格
    maxl = 120
    filepath = "vocab/poems_without_title.txt"
    filepath2 = "vocab/poems_zh.txt"
    embedding_dim = 300
    hidden_dim = 512
    num_layers = 3

    max_gen_len = 150
    prefix = "爱你一生一世" # 前置风格,可以调整生成文本的风格
    beginning = "陪伴是最长情的告白" # 需要给出诗篇的开头,模型进行续写config = Config()
In [4]
# 加载词汇表vocabdic = {'[PAD]':0,'<start>':1,'<end>':2,'[UNK]':3}
cnt=4with open (config.filepath) as fp:    for line in fp:        for char in line:            if char not in dic:
                dic[char] = cnt
                cnt+=1with open (config.filepath2) as fp:    for line in fp:        for char in line:            if char not in dic:
                dic[char] = cnt
                cnt+=1vocab = Vocab.from_dict(dic,unk_token='[UNK]')
In [5]
# 加载模型class Poetry(paddle.nn.Layer):
    def __init__(self,vocab_size,embedding_dim,hidden_dim):
        super().__init__()
        self.embeddings = paddle.nn.Embedding(vocab_size,embedding_dim)
        self.lstm = paddle.nn.LSTM(
            input_size=embedding_dim,
            hidden_size=hidden_dim,
            num_layers=config.num_layers,
        )
        self.linear = paddle.nn.Linear(in_features=hidden_dim,out_features=vocab_size)    def forward(self,input,hidden=None):
        batch_size, seq_len = paddle.shape(input)
        embeds = self.embeddings(input)        if hidden is None:
            output,hidden = self.lstm(embeds)        else:
            output,hidden = self.lstm(embeds,hidden)
        output = paddle.reshape(output,[seq_len*batch_size,Config.hidden_dim])
        output = self.linear(output)        return output,hidden

poetry = Poetry(len(vocab),config.embedding_dim,config.hidden_dim)
poetry.set_state_dict(paddle.load(config.version))
In [6]
results = [i for i in config.beginning]
start_words_len = len(results)input = (paddle.to_tensor(vocab("<start>"))).reshape([1,1])
hidden = Noneif config.prefix:
    words = [i for i in config.prefix]    for word in words:
        _, hidden = poetry(input, hidden)        input = (paddle.to_tensor(vocab(word))).reshape([1,1])for i in range(config.max_gen_len):
    output, hidden = poetry(input, hidden)    if i < start_words_len:
        word = results[i]        input = (paddle.to_tensor(vocab(word))).reshape([1,1])    else:
        _,top_index = paddle.fluid.layers.topk(output[0],k=1)
        top_index = top_index.item()
        word = vocab.to_tokens(top_index)
        results.append(word)        input = paddle.to_tensor([top_index])        input = paddle.reshape(input,[1,1])    if word == '<end>':        del results[-1]        breakresults = ''.join(results)print(results)

以上就是【AI达人创造营第二期】基于LSTM的现代诗生成器的详细内容,更多请关注其它相关文章!


# poe  # 云南seo营销方法  # 诸暨百度网站优化排名  # 壁纸行业营销推广策略  # 长岛视频网站营销推广  # 网站建设例子  # 樱花网站建设文案模板  # 南充自考网站建设  # 开源  # 首款  # 系列产品  # 写了  # 中文网  # 词汇表  # 第二期  # 达人  # 加载  # 美图  # fig  # ai  # 许昌网站效果推广代理  # 优质办公网站推广方案  # 运城网站推广招聘信息网 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 进口超级维特拉三门版power是什么意思  怎么在typescript定义集合  如何使用命令行界面  统计学中power值是什么意思  跑步机power键是什么意思  8寸照片尺寸多少厘米  j*a对数组怎么使用  苹果16有哪些改善  linux如何打开命令窗口  夸克网盘下载为什么要钱  营收和gmv区别_营收和gmv有什么区别  迅达热水器显示power是什么意思  汽车排量是什么意思  shell如何执行sql脚本命令行  access中如何使用常用宏命令  12306退票手续费最新规定  怎么在项目中使用typescript  春运抢票哪个城市好抢  光刻机的分类及特点  小屏折叠屏手机有哪些  油烟机上的power是什么意思  直接gmV是什么意思?直接GMV:定义和概念  光刻机的作用及工作原理  如何在命令行写j*a程序  广东春运抢票怎么抢不到  soup是什么意思  kingston是什么_kingston是什么意思  苹果16要升级哪些功能  苹果怎么没出5g手机  净水器上的power是什么意思  夸克搜题的原理是什么  如何修改域名解析  夸克高考为什么不靠谱  typescript文件怎么打开  面包车收音机power是什么意思  萝卜快跑的收费标准是什么  华为如何面对苹果16  5r是多少钱  手机拍显示屏有条纹怎么去除  华为使用nfc功能是什么意思  hive中datediff函数怎么用 Hive中DATEDIFF函数的使用指南  笔记本如何使用固态硬盘  如何去掉拍电脑的纹路详细教程  夸克加载什么要会员  typescript怎么写多个构造方法  固态硬盘如何安装win10系统安装  夸克网盘是什么都有吗  如何安装大华固态硬盘  学typescript要求什么  免费恢复删除的微信聊天记录软件有哪些 

搜索