专业编程基础技术教程

网站首页 > 基础教程 正文

数据筛选,如何像SQL一样使用Pandas完成JOIN连接、UNION合并查询

ccvgpt 2024-10-11 11:39:58 基础教程 53 ℃

相对于学习Pandas各种数据筛选操作,SQL语法显得更加简洁清晰,若能够将SQL语法与Pandas中对应的函数的使用方法关联起来,对于我们应用Pandas进行数据筛选来讲无疑是一个福音。


演示数据集

本文采用安德森鸢尾花卉(iris)数据集进行演示,iris数据集包含150个样本,对应数据集的每行数据。每行数据包含每个样本的四个特征和样本的类别信息,因此iris数据集是一个150行*5列的二维表。

数据筛选,如何像SQL一样使用Pandas完成JOIN连接、UNION合并查询

我们可以在 UCI Iris dataset 中获取,或者使用 from sklearn.datasets import load_iris 方式获取,为了演示方便我们只取其中10行数据,并拆分成iris_a,iris_b两部分 如下:


UNION 合并查询

合并结果 UNION ALL 可能存在重复记录

合并如下两个 SELECT 语句的结果集,需注意,UNION ALL 内部的 SELECT 语句必须拥有相同数量的列,列也必须拥有相似的数据类型。同时,每条 SELECT 语句中的列的顺序必须相同。

如上SQL实现将两个查询结果进行合并,允许存在重复记录。我们使用 pandas.concat 方法实现该SQL,代码如下:


合并结果 UNION 不存在重复记录

合并如下两个 SELECT 语句的结果集,同时也需注意,UNION 内部的 SELECT 语句必须拥有相同数量的列,列也必须拥有相似的数据类型。同时,每条 SELECT 语句中的列的顺序必须相同。

如上SQL实现将两个select查询结果进行合并,不允许存在重复记录。我们使用 pandas.concat.drop_duplicates 方法 实现该SQL,代码如下:


JOIN 连接查询

同样,我们依旧使用如上演示数据,如下:

内连接 INNER JOIN

获取iris_a,iris_b两个表中classes字段相同的记录,并返回满足条件的两张表中的所有记录。

如上SQL实现iris_airis_b 按照classes字段进行内连接。我们使用 pandas.merge(iris_a, iris_b, on='classes') 实现该SQL,代码如下:


左连接 LEFT OUTER JOIN

获取左表 iris_a 所有记录,判断每条数据的 classes 字段是否能匹配到右表iris_b的数据,无论能否匹配到,左表 iris_a 数据都会保留。若能匹配,则左右表都保留。若不能匹配,右表iris_b字段都置空NULL,并返回保留的记录。

如上SQL实现iris_a 与 iris_b 按照classes字段进行左连接。我们使用 pandas.merge(iris_a, iris_b, on='classes', how='left') 方法实现该SQL,代码如下:


右连接 RIGHT OUTER JOIN

获取右表 iris_b 所有记录,判断每条数据的 classes 字段是否能匹配到右表 iris_a 的数据,无论能否匹配到,右表 iris_b 数据都会保留。若能匹配,则左右表都保留。若不能匹配,左表iris_a字段都置空NULL,并返回保留的记录。

如上SQL实现iris_a 与 iris_b 按照classes字段进行右连接。我们使用 pandas.merge(iris_a, iris_b, on='classes', how='right')实现该SQL,代码如下:


更多内容:通俗易懂!像使用SQL一样使用Pandas进行数据筛选等复杂操作

Tags:

最近发表
标签列表