百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

python机器学习:线性回归中的哑变量转换

csdh11 2025-02-09 11:56 18 浏览

之前其实写过一个在python中如何进行哑变量转化的文章,今天又遇到了相同的问题,为了加强学习效果,决定今天和线性回归一起再写一遍。

什么是哑变量

举一个例子,假设变量“职业”的取值分别为:农民、工人、学生、企业职员、其他,共5种选项,此时我们用1,2,3,4,5来代表这5个职业类型是解释不通的。我们可以用4个哑变量来代替“职业”这个变量,分别为D1(1=农民/0=非农民)、D2(1=工人/0=非工人)、D3(1=学生/0=非学生)、D4(1=企业职员/0=非企业职员),最后一个选项“其他”的信息已经包含在这4个变量中了,所以不需要再增加一个D5(1=其他/0=非其他)了。在这种情况下,我们称“其他”为参考组。建模分析出来结果都是相对于“其他”组而言的。

实战操作

首先导入相关库和数据,代码如下:

import pandas as pd
import seaborn as sns
from sklearn import linear_model

tips=sns.load_dataset('tips')
tips

上面的代码中,我导入了seborn自带的数据集‘tips',可以看到,我们的数据长这样:


我们现在要做的是拟合'total_bill','size','sex'对'tip'的线性回归,运行以下代码:

lr=linear_model.LinearRegression()

lr.fit(X=tips[['total_bill','size','sex']],y=tips['tip'])

发现,报错“could not convert string to float",这个就是提醒我们要把”sex"转化为数值型变量,因为其为非等级的分类变量,所以我们就得用到哑变量转化,代码如下:

pd.get_dummies(tips)

我们直接用pandas自带的.get_dummies方法就可以啦,运行代码后输出如下:


可以看到,这个方法将数据集中所有的分类变量都自动转化为了哑变量。非常方便。

通常情况下,如果某个变量有n种选择,则将其用哑变量引入模型时,要设置n-1个哑变量,以避免完全的多重共线性。如性别的选择有两种,则引入一个哑变量,是男则数值为1,否则为0,当然也可以设置为女为1,否则为0。季节的选择有4个,则引入3个哑变量,哑变量1:春为1,否则为0。哑变量2:夏为1,否则为0。哑变量3:秋为1,否则为0。

请注意,以上我们用.get_dummies的方法得到的哑变量是n个,比如“sex"本来有2种选择,我们只需要

1个哑变量足够,所以,在上图中得到的哑变量,我们得减去一个然后建模,代码如下:

pd.get_dummies(tips,drop_first=True)

可以看到,.get_dummies方法给我们提供了删掉头一个哑变量的参数drop_first,我们将其设置为True就可以了,得到结果如下:


此时,我们就可以顺利的进行线性回归的拟合了

tips_dummy=pd.get_dummies(tips,drop_first=True)

lr=linear_model.LinearRegression()
lr.fit(X=tips_dummy[['total_bill','size','sex_Female']],y=tips_dummy['tip'])

lr.coef_
lr.intercept_

结果如图

可以看到,经过哑变量转化后,模型顺利输出了sex这个变量的系数。

结论

今天还是用一个线性回归的实例给大家介绍了哑变量的实际应用,希望对大家有帮助。感谢大家耐心看完。发表这些东西的主要目的就是督促自己,希望大家关注评论指出不足,一起进步。内容我都会写的很细,用到的数据集也会在原文中给出链接,你只要按照文章中的代码自己也可以做出一样的结果,一个目的就是零基础也能懂,因为自己就是什么基础没有从零学Python的,加油。

(站外链接发不了,请关注后私信回复“数据链接”获取本头条号所有使用数据)

往期精彩:

python应用:如何用python提取pdf文件中的文字

python数据分析:离群值的检测和处理

python非监督机器学习入门:K均值聚类实例操练

相关推荐

探索Java项目中日志系统最佳实践:从入门到精通

探索Java项目中日志系统最佳实践:从入门到精通在现代软件开发中,日志系统如同一位默默无闻却至关重要的管家,它记录了程序运行中的各种事件,为我们排查问题、监控性能和优化系统提供了宝贵的依据。在Java...

用了这么多年的java日志框架,你真的弄懂了吗?

在项目开发过程中,有一个必不可少的环节就是记录日志,相信只要是个程序员都用过,可是咱们自问下,用了这么多年的日志框架,你确定自己真弄懂了日志框架的来龙去脉嘛?下面笔者就详细聊聊java中常用日志框架的...

物理老师教你学Java语言(中篇)(物理专业学编程)

第四章物质的基本结构——类与对象...

一文搞定!Spring Boot3 定时任务操作全攻略

各位互联网大厂的后端开发小伙伴们,在使用SpringBoot3开发项目时,你是否遇到过定时任务实现的难题呢?比如任务调度时间不准确,代码报错却找不到方向,是不是特别头疼?如今,随着互联网业务规模...

你还不懂java的日志系统吗 ?(java的日志类)

一、背景在java的开发中,使用最多也绕不过去的一个话题就是日志,在程序中除了业务代码外,使用最多的就是打印日志。经常听到的这样一句话就是“打个日志调试下”,没错在日常的开发、调试过程中打印日志是常干...

谈谈枚举的新用法--java(java枚举的作用与好处)

问题的由来前段时间改游戏buff功能,干了一件愚蠢的事情,那就是把枚举和运算集合在一起,然后运行一段时间后buff就出现各种问题,我当时懵逼了!事情是这样的,做过游戏的都知道,buff,需要分类型,且...

你还不懂java的日志系统吗(javaw 日志)

一、背景在java的开发中,使用最多也绕不过去的一个话题就是日志,在程序中除了业务代码外,使用最多的就是打印日志。经常听到的这样一句话就是“打个日志调试下”,没错在日常的开发、调试过程中打印日志是常干...

Java 8之后的那些新特性(三):Java System Logger

去年12月份log4j日志框架的一个漏洞,给Java整个行业造成了非常大的影响。这个事情也顺带把log4j这个日志框架推到了争议的最前线。在Java领域,log4j可能相对比较流行。而在log4j之外...

Java开发中的日志管理:让程序“开口说话”

Java开发中的日志管理:让程序“开口说话”日志是程序员的朋友,也是程序的“嘴巴”。它能让程序在运行过程中“开口说话”,告诉我们它的状态、行为以及遇到的问题。在Java开发中,良好的日志管理不仅能帮助...

吊打面试官(十二)--Java语言中ArrayList类一文全掌握

导读...

OS X 效率启动器 Alfred 详解与使用技巧

问:为什么要在Mac上使用效率启动器类应用?答:在非特殊专业用户的环境下,(每天)用户一般可以在系统中进行上百次操作,可以是点击,也可以是拖拽,但这些只是过程,而我们的真正目的是想获得结果,也就是...

Java中 高级的异常处理(java中异常处理的两种方式)

介绍异常处理是软件开发的一个关键方面,尤其是在Java中,这种语言以其稳健性和平台独立性而闻名。正确的异常处理不仅可以防止应用程序崩溃,还有助于调试并向用户提供有意义的反馈。...

【性能调优】全方位教你定位慢SQL,方法介绍下!

1.使用数据库自带工具...

全面了解mysql锁机制(InnoDB)与问题排查

MySQL/InnoDB的加锁,一直是一个常见的话题。例如,数据库如果有高并发请求,如何保证数据完整性?产生死锁问题如何排查并解决?下面是不同锁等级的区别表级锁:开销小,加锁快;不会出现死锁;锁定粒度...

看懂这篇文章,你就懂了数据库死锁产生的场景和解决方法

一、什么是死锁加锁(Locking)是数据库在并发访问时保证数据一致性和完整性的主要机制。任何事务都需要获得相应对象上的锁才能访问数据,读取数据的事务通常只需要获得读锁(共享锁),修改数据的事务需要获...