新闻中心

基于LightGBM实现保险反欺诈预测

2025-07-25
浏览次数：次
返回列表
项目以保险风控为背景，保险是重要的金融体系，对社会发展，民生保障起到重要作用。保险欺诈近些年层出不穷，在某些险种上保险欺诈的金额已经占到了理赔金额的20%甚至更多。对保险欺诈的识别成为保险行业中的关键应用场景。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

基于lightgbm实现保险反欺诈预测 -

一、项目背景

项目以保险风控为背景，保险是重要的金融体系，对社会发展，民生保障起到重要作用。保险欺诈近些年层出不穷，在某些险种上保险欺诈的金额已经占到了理赔金额的20%甚至更多。对保险欺诈的识别成为保险行业中的关键应用场景。

【任务】 数据集提供了之前客户索赔的车险数据，希望你能开发模型帮助公司预测哪些索赔是欺诈行为

【评价标准】 AUC, 即ROC曲线下面的面积 (Area under the Curve of ROC)

二、项目方案

1. 简述技术路线

流程：数据处理 →模型建模→训练→评估预测

在本次项目中，使用的数据集不存在缺失和重复，不用经过清洗和处理，使用sklearn完成模型建模和评估等操作，为完成预测任务采用了lightgbm进行模型训练。

2. Sklearn介绍 -机器学习最常用的一个库

Sklearn 全称 Scikit-learn。它涵盖了分类、回归、聚类、降维、模型选择、数据预处理六大模块，降低机器学习实践门槛，将复杂的数学计算集成为简单的函数，并提供了众多公开数据集和学习案例。

官网中有详细的介绍：Sklearn官方文档

可以在AI Studio中进一步学习它:『行远见大』Python 进阶篇：Sklearn 库

下面是sklearn的算法选择路径，可供在模型选择中进行参考：

基于LightGBM实现保险反欺诈预测 -        

三、数据说明

  1. 挂载aistudio中的数据集：保险反欺诈预测

  2. 数据集内容：train.csv 训练集 test(1).csv 测试集 submission.csv 提交格式

  3. 通过载入数据集以及初步观察，对项目提供的数据集的表头进行理解和记录：

表头 说明
policy_id 保险编号
age 年龄
customer_months 成为客户的时长，以月为单位
policy_bind_date 保险绑定日期
policy_state 上保险所在地区
policy_csl 组合单一限制
policy_deductable 保险扣除额
policy_annual_premium 每年的保险费
umbrella_limit 保险责任上限
insured_zip 被保人邮编
insured_sex 被保人性别
insured_education_level 被保人学历
insured_occupation 被保人职业
insured_hobbies 被保人爱好
insured_relationship 被保人关系
capital-gains 资本收益
capital-loss 资本损失
incident_date 出险日期
incident_type 出险类型
collision_type 碰撞类型
incident_severity 事故严重程度
authorities_contacted 联系了当地的哪个机构
incident_state 出事所在的州
incident_city 出事所在的城市
incident_hour_of_the_day 出事所在的小时
number_of_vehicles_involved 涉及车辆数
property_damage 是否有财产损失
bodily_injuries 身体伤害
witnesses 目击证人
police_report_*ailable 是否有警察记录的报告
total_claim_amount 整体索赔金额
injury_claim 伤害索赔金额
property_claim 财产索赔金额
vehicle_claim 汽车索赔金额
auto_make 汽车品牌，比如Audi, BMW, Toyota
auto_model 汽车型号，比如A3,X5,Camry,Passat等
auto_year 汽车购买的年份
fraud 是否欺诈，1或者0

四、代码实现

共分为以下5个部分

1.数据集载入及初步观察

2.探索性数据分析

3.数据建模

美图云修 美图云修

商业级AI影像处理工具

美图云修 50 查看详情 美图云修

4.模型评估

5.输出结果

下面将逐一进行介绍

1. 数据集载入及初步观察

In [1] 
import pandas as pdimport numpy as np
df=pd.read_csv("保险反欺诈预测/train.csv")
test=pd.read_csv("保险反欺诈预测/test (1).csv")
df.head(10)
       
   policy_id  age  customer_months policy_bind_date policy_state policy_csl  \
0     122576   37              189       2013-08-21            C   500/1000   
1     937713   44              234       1998-01-04            B    250/500   
2     680237   33               23       1996-02-06            B   500/1000   
3     513080   42              210       2008-11-14            A   500/1000   
4     192875   29               81       2002-01-08            A    100/300   
5     690246   47              305       1999-08-14            C    100/300   
6     750108   48              308       2009-06-18            C    250/500   
7     237180   30              103       2008-01-02            C   500/1000   
8     300549   42               46       2010-11-12            A    100/300   
9     532414   41              280       1998-11-10            B    250/500   

   policy_deductable  policy_annual_premium  umbrella_limit  insured_zip  ...  \
0               1000                1465.71         5000000       455456  ...   
1                500                 821.24               0       591805  ...   
2               1000                1844.00               0       442490  ...   
3                500                1867.29               0       439408  ...   
4               1000                 816.25               0       640575  ...   
5                500                1592.15               0       483650  ...   
6               1000                1442.75         3000000       462503  ...   
7               1000                1325.87               0       460080  ...   
8               2000                 950.27               0       610944  ...   
9               1000                1314.43         6000000       455585  ...   

  witnesses police_report_*ailable total_claim_amount injury_claim  \
0         3                       ?              54930         6029   
1         1                     YES              50680         5376   
2         1                      NO              47829         4460   
3         2                     YES              68862        11043   
4         1                     YES              59726         5617   
5         2                      NO              57974        12975   
6         0                      NO              53693         5731   
7         2                     YES              63344        11427   
8         3                       ?              74670        12864   
9         3                     YES              55484         6128   

  property_claim  vehicle_claim  auto_make  auto_model auto_year fraud  
0           5752          44452     Nissan      Maxima      2000     0  
1          10156          37347      Honda       Civic      1996     0  
2           9247          33644       Jeep    Wrangler      2002     0  
3           5955          53548     Suburu      Legacy      2003     1  
4          10301          41550       Ford        F150      2004     0  
5           6619          39006       Saab          93      1996     1  
6           5685          42042     Toyota  Highlander      2013     0  
7           5429          43300     Suburu      Legacy      2012     0  
8          20141          44657      Dodge         RAM      2004     1  
9          12680          37788       Saab         92x      2007     0  

[10 rows x 38 columns]
                In [2] 
#查看缺失值df.info()
       
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 700 entries, 0 to 699
Data columns (total 38 columns):
 #   Column                       Non-Null Count  Dtype  
---  ------                       --------------  -----  
 0   policy_id                    700 non-null    int64  
 1   age                          700 non-null    int64  
 2   customer_months              700 non-null    int64  
 3   policy_bind_date             700 non-null    object 
 4   policy_state                 700 non-null    object 
 5   policy_csl                   700 non-null    object 
 6   policy_deductable            700 non-null    int64  
 7   policy_annual_premium        700 non-null    float64
 8   umbrella_limit               700 non-null    int64  
 9   insured_zip                  700 non-null    int64  
 10  insured_sex                  700 non-null    object 
 11  insured_education_level      700 non-null    object 
 12  insured_occupation           700 non-null    object 
 13  insured_hobbies              700 non-null    object 
 14  insured_relationship         700 non-null    object 
 15  capital-gains                700 non-null    int64  
 16  capital-loss                 700 non-null    int64  
 17  incident_date                700 non-null    object 
 18  incident_type                700 non-null    object 
 19  collision_type               700 non-null    object 
 20  incident_severity            700 non-null    object 
 21  authorities_contacted        700 non-null    object 
 22  incident_state               700 non-null    object 
 23  incident_city                700 non-null    object 
 24  incident_hour_of_the_day     700 non-null    int64  
 25  number_of_vehicles_involved  700 non-null    int64  
 26  property_damage              700 non-null    object 
 27  bodily_injuries              700 non-null    int64  
 28  witnesses                    700 non-null    int64  
 29  police_report_*ailable      700 non-null    object 
 30  total_claim_amount           700 non-null    int64  
 31  injury_claim                 700 non-null    int64  
 32  property_claim               700 non-null    int64  
 33  vehicle_claim                700 non-null    int64  
 34  auto_make                    700 non-null    object 
 35  auto_model                   700 non-null    object 
 36  auto_year                    700 non-null    int64  
 37  fraud                        700 non-null    int64  
dtypes: float64(1), int64(18), object(19)
memory usage: 207.9+ KB
        In [4] 
# 绘制箱线图，查看异常值import matplotlib.pyplot as pltimport seaborn as sns# 分离数值变量与分类变量Nu_feature = list(df.select_dtypes(exclude=['object']).columns)  
Ca_feature = list(df.select_dtypes(include=['object']).columns)# 绘制箱线图plt.figure(figsize=(30,30))   #  箱线图查看数值型变量异常值i=1for col in Nu_feature:
    ax=plt.subplot(4,5,i)
    ax=sns.boxplot(data=df[col])
    ax.set_xlabel(col)
    ax.set_ylabel('Frequency')
    i+=1plt.show()# 结合原始数据及经验，真正的异常值只有umbrella_limit这一个变量，有一个-1000000的异常值，但测试集没有，可以忽略不管
       
<Figure size 3000x3000 with 19 Axes>
               

2. 探索性数据分析

  • 查看训练集与测试集数值变量分布

  • 查看分类变量分布

  • 查看数据相关性

查看训练集与测试集数值变量分布

In [5] 
#查看训练集与测试集数值变量分布import warnings
warnings.filterwarnings("ignore")
plt.figure(figsize=(20,15))
i=1Nu_feature.remove('fraud')for col in Nu_feature:
    ax=plt.subplot(4,5,i)
    ax=sns.kdeplot(df[col],color='red')
    ax=sns.kdeplot(test[col],color='cyan')
    ax.set_xlabel(col)
    ax.set_ylabel('Frequency')
    ax=ax.legend(['train','test'])
    i+=1plt.show()
       
<Figure size 2000x1500 with 18 Axes>
               

查看分类变量分布

In [6] 
# 查看分类变量分布col1=Ca_feature
plt.figure(figsize=(40,40))
j=1for col in col1:
    ax=plt.subplot(8,5,j)
    ax=plt.scatter(x=range(len(df)),y=df[col],color='red')
    plt.title(col)
    j+=1k=11for col in col1:
    ax=plt.subplot(5,8,k)
    ax=plt.scatter(x=range(len(test)),y=test[col],color='cyan')
    plt.title(col)
    k+=1plt.subplots_adjust(wspace=0.4,hspace=0.3)  
plt.show()
       
<Figure size 4000x4000 with 26 Axes>
               

查看数据相关性

In [7] 
from sklearn.preprocessing import LabelEncoder
lb = LabelEncoder()                               
cols = Ca_featurefor m in cols:
    df[m] = lb.fit_transform(df[m])
    test[m] = lb.fit_transform(test[m])


correlation_matrix=df.corr()
plt.figure(figsize=(12,10))
sns.heatmap(correlation_matrix,vmax=0.9,linewidths=0.05,cmap="RdGy")# 几个相关性比较高的特征在模型的特征输出部分也占据比较重要的位置
       
<matplotlib.axes._subplots.AxesSubplot at 0x7f26d01a1890>
                
<Figure size 1200x1000 with 2 Axes>
               

3. 数据建模

  1. 切割训练集和测试集

这里使用留出法划分数据集，将数据集分为自变量和因变量。

按比例切割训练集和测试集(一般测试集的比例有30%、25%、20%、15%和10%)，使用分层抽样，设置随机种子以便结果能复现

x_train,x_test,y_train,y_test = train_test_split( X, Y,test_size=0.3,random_state=1)
       
  1. 模型创建

创建基于树的分类模型（lightgbm）

这些模型进行训练，分别的到训练集和测试集的得分

In [8] 
from lightgbm.sklearn import LGBMClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.model_selection import KFoldfrom sklearn.metrics import accuracy_score, auc, roc_auc_score


X=df.drop(columns=['policy_id','fraud'])
Y=df['fraud']
test=test.drop(columns='policy_id')# 划分训练及测试集x_train,x_test,y_train,y_test = train_test_split( X, Y,test_size=0.3,random_state=1)
    In [19] 
# 建立模型gbm = LGBMClassifier(n_estimators=600,learning_rate=0.01,boosting_type= 'gbdt',   
    objective = 'binary',
    max_depth = -1,  
    random_state=2025,           
    metric='auc')
   

4. 模型评估

交叉验证介绍

  • 交叉验证（cross-validation）是一种评估泛化性能的统计学方法，它比单次划分训练集和测试集的方法更加稳定、全面。
  • 在交叉验证中，数据被多次划分，并且需要训练多个模型。
  • 最常用的交叉验证是 k 折交叉验证（k-fold cross-validation），其中 k 是由用户指定的数字，通常取 5 或 10。基于LightGBM实现保险反欺诈预测 -            
In [10] 
# 交叉验证result1 = []
mean_score1 = 0n_folds=5kf = KFold(n_splits=n_folds ,shuffle=True,random_state=2025)for train_index, test_index in kf.split(X):
    x_train = X.iloc[train_index]
    y_train = Y.iloc[train_index]
    x_test = X.iloc[test_index]
    y_test = Y.iloc[test_index]
    gbm.fit(x_train,y_train)
    y_pred1=gbm.predict_proba((x_test),num_iteration=gbm.best_iteration_)[:,1]    print('验证集AUC:{}'.format(roc_auc_score(y_test,y_pred1)))
    mean_score1 += roc_auc_score(y_test,y_pred1)/ n_folds
    y_pred_final1 = gbm.predict_proba((test),num_iteration=gbm.best_iteration_)[:,1]
    y_pred_test1=y_pred_final1
    result1.append(y_pred_test1)
       
验证集AUC:0.8211382113821137
验证集AUC:0.8088235294117647
验证集AUC:0.8413402315841341
验证集AUC:0.8452820891845282
验证集AUC:0.8099856321839081
        In [20] 
# 模型评估print('mean 验证集auc:{}'.format(mean_score1))
cat_pre1=sum(result1)/n_folds
       
mean 验证集auc:0.8253139387492898
       

5. 输出结果

将预测结果按照指定格式输出到submission-Copy2.csv文件中

In [21] 
ret1=pd.DataFrame(cat_pre1,columns=['fraud'])
ret1['fraud']=np.where(ret1['fraud']>0.5,'yes','no').astype('str')


result = pd.DataFrame()
result['policy_id'] = df['policy_id']
result['fraud'] = ret1['fraud']


result.to_csv('/home/aistudio/submission.csv',index=False)
   

五、效果展示

最后得到验证集accuracy达到0.8253139387492898

以上就是基于LightGBM实现保险反欺诈预测的详细内容，更多请关注其它相关文章！


# ai  # python  # 美图  # 一言  # 中文网  # type  # fig  # udio  # tome  # igs  # red  # csv文件  # 白山seo教程哪个便宜  # 网站优化的问题  # 服装公司网站推广计划书  # 网站推广策划案哪家好  # 微信群公众号推广营销  # seo服务费多少  # 南山网站建设软件推广  # 自助麻将室的营销推广怎么写  # 餐饮会员卡营销推广方案  # 养殖行业seo优化方案  # 险种  # 社会发展  # 最常用  # 重要作用  # 层出不穷  # 近些年  # 官网 


相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】


相关推荐： ssd固态硬盘如何选择  j*a里数组怎么赋值  皓影混动仪表盘上power是什么意思  夸克解压什么意思  春运抢票在哪儿抢票  如何学习typescript  苹果16日发售哪些机型  固态硬盘损坏如何修复  typescript如何标记私有方法  制冰机power1灯亮是什么意思  如何正确使用固态硬盘  冰柜power是什么意思这个黄灯怎么不亮  更换固态硬盘如何检查  得物怎样不扣手续费 如何通过得物不支付手续费  光刻机的分类及特点  typescript干什么的  净水器上的power是什么意思  点焊机接触器上power是什么意思  如何通过命令行聊天  市盈率pe是什么意思  typescript怎么拼接  抖音GMV是什么_抖音GMV是什么意思  如何用好typescript  丰田type-c接口是什么  怎么在typescript写原型链  科技型企业成长＂十步法＂  苹果16哪些会降价的  固态硬盘如何拆除  直接gmV是什么意思？直接GMV:定义和概念  安全的ao3镜像网站链接入口  如何设置从固态硬盘启动  苹果16有哪些黑科技  路亚竿上的power是什么意思  win10如何开启命令行  固态硬盘如何安装win10系统安装  sausage是什么意思  a股等权平均市盈率是什么意思  市盈率为负值是什么意思  虽千万人吾往矣什么意思  performance是什么意思  电信开通nfc功能是什么意思  华为5g手机怎么用4g网络  如何进入 dos 命令行  夸克网盘为什么解析错误  华为使用nfc功能是什么意思  尼桑越野车中控前power是什么意思  类似微信的聊天软件有哪些  固态硬盘如何打开软件  bugly是什么  dos命令 如何将变量 作为路径的一部分 

上一篇：基于MobileNetV2的柠檬外观分类实践
下一篇：【PaddleHub模型贡献】一行代码实现海洋生物识别

搜索