本站消息

站长简介


前每日优鲜python全栈开发工程师,自媒体达人,逗比程序猿,钱少话少特宅,我的公众号:想吃麻辣香锅

  python大神匠心打造,零基础python开发工程师视频教程全套,基础+进阶+项目实战,包含课件和源码

  出租广告位,需要合作请联系站长



+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2020-06(17)

2020-07(32)

2020-08(44)

2020-09(61)

2020-10(63)

Keras入门(八)K折交叉验证

发布于2021-01-26 20:40     阅读(341)     评论(0)     点赞(3)     收藏(2)


0

1

2

3

4

5

6

7



  在文章Keras入门(一)搭建深度神经网络(DNN)解决多分类问题中,笔者介绍了如何搭建DNN模型来解决IRIS数据集的多分类问题。
  本文将在此基础上介绍如何在Keras中实现K折交叉验证。

什么是K折交叉验证?

  K折交叉验证是机器学习中的一个专业术语,它指的是将原始数据随机分成K份,每次选择K-1份作为训练集,剩余的1份作为测试集。交叉验证重复K次,取K次准确率的平均值作为最终模型的评价指标。一般取K=10,即10折交叉验证,如下图所示:
10折交叉验证
  用交叉验证的目的是为了得到可靠稳定的模型。K折交叉验证能够有效提高模型的学习能力,类似于增加了训练样本数量,使得学习的模型更加稳健,鲁棒性更强。选择合适的K值能够有效避免过拟合。

Keras实现K折交叉验证

  我们仍采用文章Keras入门(一)搭建深度神经网络(DNN)解决多分类问题中的模型,如下:
DNN模型结构图
同时,我们对IRIS数据集采用10折交叉验证,完整的实现代码如下:

# -*- coding: utf-8 -*-
# model_train.py
# Python 3.6.8, TensorFlow 2.3.0, Keras 2.4.3
# 导入模块
import keras as K
import pandas as pd
from sklearn.model_selection import KFold


# 读取CSV数据集
# 该函数的传入参数为csv_file_path: csv文件路径
def load_data(sv_file_path):
    iris = pd.read_csv(sv_file_path)
    target_var = 'class'  # 目标变量
    # 数据集的特征
    features = list(iris.columns)
    features.remove(target_var)
    # 目标变量的类别
    Class = iris[target_var].unique()
    # 目标变量的类别字典
    Class_dict = dict(zip(Class, range(len(Class))))
    # 增加一列target, 将目标变量转化为类别变量
    iris['target'] = iris[target_var].apply(lambda x: Class_dict[x])

    return features, 'target', iris


# 创建模型
def create_model():
    init = K.initializers.glorot_uniform(seed=1)
    simple_adam = K.optimizers.Adam()
    model = K.models.Sequential()
    model.add(K.layers.Dense(units=5, input_dim=4, kernel_initializer=init, activation='relu'))
    model.add(K.layers.Dense(units=6, kernel_initializer=init, activation='relu'))
    model.add(K.layers.Dense(units=3, kernel_initializer=init, activation='softmax'))
    model.compile(loss='sparse_categorical_crossentropy', optimizer=simple_adam, metrics=['accuracy'])
    return model


def main():
    # 1. 读取CSV数据集
    print("Loading Iris data into memory")
    n_split = 10
    features, target, data = load_data("./iris_data.csv")
    x = data[features]
    y = data[target]
    avg_accuracy = 0
    avg_loss = 0
    for train_index, test_index in KFold(n_split).split(x):
        print("test index: ", test_index)
        x_train, x_test = x.iloc[train_index], x.iloc[test_index]
        y_train, y_test = y.iloc[train_index], y.iloc[test_index]

        print("create model and train model")
        model = create_model()
        model.fit(x_train, y_train, batch_size=1, epochs=80, verbose=0)

        print('Model evaluation: ', model.evaluate(x_test, y_test))
        avg_accuracy += model.evaluate(x_test, y_test)[1]
        avg_loss += model.evaluate(x_test, y_test)[0]

    print("K fold average accuracy: {}".format(avg_accuracy / n_split))
    print("K fold average accuracy: {}".format(avg_loss / n_split))


main()

模型的输出结果如下:

Iterationlossaccuracy
10.000561.0
20.000211.0
30.000221.0
40.006081.0
50.219250.8667
60.523900.8667
70.009981.0
80.044311.0
90.145901.0
100.212860.8667
avg0.116330.9600

10折交叉验证的平均loss为0.11633,平均准确率为96.00%。

总结

  本文代码已存放至Github,网址为:https://github.com/percent4/Keras-K-fold-test 。
  感谢大家的阅读~
  2020.1.24于上海浦东




0

1

2

3

4



所属网站分类: 技术文章 > 博客

作者:精灵

链接:https://www.pythonheidong.com/blog/article/793973/b48eba657c8874da396a/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

3 0
收藏该文
已收藏

评论内容:(最多支持255个字符)