python

关注公众号 jb51net

关闭
首页 > 脚本专栏 > python > Pandas多列条件筛选

Pandas多列条件筛选的实战指南

作者：乐悠厨房

本文主要介绍了Pandas多列条件筛选的实战指南,通过布尔索引、query()和loc[]三种方法轻松实现多列条件筛选,感兴趣的可以了解一下

1. 项目概述：从数据海洋中精准打捞

在数据处理和分析的日常里，我们最常遇到的一个场景就是：面对一个庞大的表格（比如Excel或CSV文件），我们需要筛选出那些在特定几列上满足某些条件的行。比如，在一份销售数据里，找出所有“产品类别”是“电子产品”且“销售地区”是“华东”的记录；或者在一份用户信息表里，筛选出“年龄”在25到35岁之间、“城市”为“北京”或“上海”的用户。这个操作听起来简单，但当你手头有几十万行数据，或者需要频繁、灵活地执行这类筛选时，如何高效、优雅地实现就成了一个必须掌握的技能。

这就是“Python选取多列内容为指定内容的行”这个标题背后要解决的核心问题。它不是一个炫酷的算法，而是一个极其务实、高频的数据操作需求。对于数据分析师、数据科学家、后端开发甚至是运营同学来说，这几乎是每天都要用到的“基本功”。掌握它，意味着你能从杂乱的数据中迅速提取出有价值的信息，为后续的分析、决策或系统处理提供干净的输入。

市面上有很多工具可以完成这个任务，比如Excel的筛选功能、SQL的 WHERE 语句。但在自动化脚本、复杂的数据处理流水线（Pipeline）或者需要与其他Python数据分析库（如Pandas, NumPy）无缝衔接的场景下，用Python来实现是更强大、更灵活的选择。它允许你将筛选逻辑代码化、参数化，轻松应对条件组合变化、批量处理等需求。

接下来，我将以一个虚拟的电商订单数据集为例，带你从零开始，深入拆解在Python中实现多列条件筛选的多种方法、背后的原理，以及在实际操作中那些容易踩坑的细节和提升效率的技巧。无论你是刚接触Python数据处理的新手，还是想优化现有代码的老手，相信都能从中找到有用的东西。

2. 核心思路与方案选型：为什么是它们？

在Python中处理表格数据，Pandas库是当之无愧的“瑞士军刀”。因此，我们的讨论将主要围绕Pandas展开。实现多列条件筛选，核心思路是构建一个布尔序列（Boolean Series），这个序列的每个元素（True或False）对应原始数据框（DataFrame）的每一行，标记该行是否满足所有条件。然后，用这个布尔序列作为索引，就能“捞出”我们需要的行。

听起来抽象？我们把它具体化。假设我们有一个DataFrame叫 df ，有 A , B , C 三列。我们想筛选出 A 列等于 x 并且 B 列大于 y 的行。我们需要做的是：

  1. 分别生成两个布尔序列： condition1 = (df[‘A’] == x) 和 condition2 = (df[‘B’] > y) 。
  2. 将这两个条件用逻辑运算符组合起来： final_condition = condition1 & condition2 。这里的 & 代表“且”（and）。
  3. 最后使用这个组合条件进行筛选： result_df = df[final_condition] 。

这就是最基础的原理。基于这个原理，衍生出几种不同的实现方案，各有其适用场景。

2.1 方案一：布尔索引与逻辑运算符组合

这是最直接、最符合直觉的方法，也是Pandas官方推荐的方式。它直接运用了上面描述的原理。

为什么选择它？

需要注意的坑 ：

2.2 方案二：DataFrame.query()方法

query() 方法允许你使用一个字符串表达式来筛选数据，这个表达式非常类似于你在SQL的 WHERE 子句中写的东西。

为什么选择它？

需要注意的坑 ：

2.3 方案三：DataFrame.loc[]与条件结合

loc[] 是Pandas中基于标签进行索引访问的主要方法。我们通常将布尔序列作为它的第一个参数。

为什么选择它？

需要注意的坑 ：

2.4 方案选型总结

对于初学者，我强烈建议从 方案一（布尔索引） 开始。它最基础，能帮你牢固建立“布尔掩码”的概念，这是理解Pandas数据筛选的基石。当你对条件组合非常熟练后，可以尝试 方案二（query） 来让代码更简洁，特别是在进行探索性数据分析（EDA）时，在Jupyter Notebook里快速写一行 query 进行筛选非常方便。 方案三（loc） 则是当你需要进行“筛选-赋值”或“筛选-选取特定列”这种复合操作时的最佳选择。

在实际项目中，这三种方法我都在用，选择哪一种取决于当下的具体需求和个人习惯。没有绝对的优劣，只有合不合适。

3. 核心细节解析与实操要点

理解了核心思路，我们还需要深入一些细节，这些细节决定了你的代码是稳健高效还是漏洞百出。

3.1 条件表达式的构建：小心那些“陷阱”

构建条件表达式是筛选的第一步，这里有几个关键点：

1. 缺失值（NaN）的处理 这是最大的坑之一。在Pandas中， NaN （Not a Number）表示缺失值。任何与 NaN 的比较操作（ == , > , < 等）结果都是 NaN ，而不是 True 或 False 。而 NaN 在布尔上下文中会被当作 False 。

import pandas as pd
import numpy as np

df = pd.DataFrame({‘A': [1, 2, np.nan, 4]})
condition = df[‘A'] == 2
print(condition)
# 输出：0 False, 1 True, 2 False, 3 False? 等等，第二行是NaN == 2，结果是NaN！
# 实际上输出是：0 False, 1 True, 2 False, 3 False? 不，是：0 False, 1 True, 2 NaN, 3 False
# 这个包含NaN的布尔序列用于索引时会引发错误。

注意 ：直接使用包含 NaN 的布尔序列进行索引会触发 ValueError 。必须先用 pd.isna() 或 pd.notna() 来处理缺失值。例如，想筛选A列不为空且大于2的行： condition = df[‘A’].notna() & (df[‘A’] > 2) 。

2. 字符串匹配与模糊查询 等值比较（ == ）要求完全匹配。但现实中我们经常需要模糊匹配，比如找出产品名包含“手机”的行。

3. 多值匹配（isin） 当我们需要筛选某列的值属于一个给定集合时， isin() 方法是最高效的。例如，筛选城市为“北京”、“上海”、“广州”的用户：

target_cities = [‘北京‘， '上海‘， '广州']
condition = df[‘city'].isin(target_cities)

这比写 (df[‘city’] == ‘北京’) | (df[‘city’] == ‘上海’) | (df[‘city’] == ‘广州’) 要简洁高效得多，尤其是目标集合很大时。

3.2 复杂逻辑的组合：让筛选更精准

单一条件往往不够，我们需要组合多个条件。

1. “与”操作（&） 要求同时满足所有条件。例如，25岁以上且来自北京的用户：

condition = (df[‘age'] > 25) & (df[‘city'] == ‘北京')

再次强调，每个子条件必须用括号括起来。

2. “或”操作（|） 满足任意一个条件即可。例如，销售额大于10000或订单量大于50的销售员：

condition = (df[‘sales'] > 10000) | (df[‘order_count'] > 50)

3. “非”操作（~） 取反。例如，所有非VIP用户：

condition = ~(df[‘is_vip'] == True) # 或者直接用 df[‘is_vip'] == False

筛选城市不在“北京”、“上海”的用户：

condition = ~df[‘city'].isin([‘北京‘， '上海'])

4. 混合复杂逻辑 当“与”、“或”、“非”混合时，清晰的括号是保证逻辑正确的关键。例如，筛选（年龄大于30且为VIP）或（销售额大于平均值）的用户：

avg_sales = df[‘sales'].mean()
condition = ((df[‘age'] > 30) & (df[‘is_vip'])) | (df[‘sales'] > avg_sales)

建议对于复杂逻辑，可以分步构建子条件，最后再组合，这样便于调试和阅读。

3.3 性能考量：当数据量很大时

对于小型数据集（几万行以内），上述方法都很快。但当数据达到百万、千万行时，性能就需要关注了。

4. 完整实操流程与代码示例

理论说再多，不如动手做一遍。让我们通过一个完整的例子，串联起所有知识点。假设我们有一份电商订单数据 orders.csv ，包含以下字段： order_id （订单ID）， customer_id （客户ID）， product （产品名称）， category （产品类别）， price （单价）， quantity （数量）， city （配送城市）， order_date （订单日期）。

我们的目标是： 找出2023年第二季度（4月-6月），在“北京”或“上海”，购买了“电子产品”类别下，且单笔订单金额（price * quantity）超过1000元的所有订单。

4.1 步骤一：环境准备与数据加载

首先，确保你的环境已安装Pandas。如果没有，通过 pip install pandas 安装。

import pandas as pd
import numpy as np # 用于可能的缺失值处理

# 加载数据
df = pd.read_csv(‘orders.csv')

# 快速查看数据结构和前几行
print(df.info())
print(df.head())

# 确保日期列被正确解析为datetime类型，这对按日期筛选至关重要
df[‘order_date'] = pd.to_datetime(df[‘order_date'])

4.2 步骤二：分步构建筛选条件

我们将复杂的目标拆解成几个简单的子条件。

1. 时间条件：2023年第二季度（4月1日到6月30日） 

# 方法1：分别指定开始和结束日期
start_date = pd.Timestamp(‘2023-04-01')
end_date = pd.Timestamp(‘2023-06-30')
condition_time = (df[‘order_date'] >= start_date) & (df[‘order_date'] <= end_date)

# 方法2：使用日期字符串（Pandas很智能，可以比较）
# condition_time = (df[‘order_date'] >= ‘2023-04-01') & (df[‘order_date'] <= ‘2023-06-30')

2. 城市条件：“北京”或“上海” 

condition_city = df[‘city'].isin([‘北京‘， '上海'])

3. 类别条件：“电子产品” 

condition_category = df[‘category'] == ‘电子产品'

4. 订单金额条件：price * quantity > 1000 这里我们需要先计算出一个派生列，或者将计算直接嵌入条件。为了避免修改原数据框，我们选择嵌入计算。

condition_amount = (df[‘price'] * df[‘quantity']) > 1000

实操心得 ：如果这个金额条件会被多次使用，或者后续分析也需要用到“订单金额”，那么更高效的做法是创建一个新列 df[‘order_amount’] = df[‘price’] * df[‘quantity’] ，然后条件变为 df[‘order_amount’] > 1000 。这样避免了每次筛选都重复计算乘法。这体现了“空间换时间”的思想，在数据清洗阶段创建常用派生列是很好的实践。

4.3 步骤三：组合条件并执行筛选

现在，我们需要所有条件 同时满足 ，所以使用“与(&)”操作符组合它们。

final_condition = condition_time & condition_city & condition_category & condition_amount
filtered_df = df[final_condition]

4.4 步骤四：结果验证与输出

筛选完成后，务必检查结果是否符合预期。

# 查看筛选出了多少行数据
print(f“筛选结果共 {len(filtered_df)} 行记录。”)

# 查看筛选结果的前几行
print(filtered_df.head())

# 可以按订单金额降序排列看看
print(filtered_df.sort_values(by=‘price'*'quantity‘， ascending=False).head())

# 如果需要，可以将结果保存到新的CSV文件
filtered_df.to_csv(‘filtered_orders_Q2_2023.csv'， index=False)

4.5 使用query()方法实现相同功能

同样的逻辑，用 query() 来写会更加紧凑。注意列名中不能有空格等特殊字符，我们的数据列名是合规的。

# 使用query方法
# 注意：字符串内的日期需要引号，外部变量用@引用
query_string = “order_date >= ‘2023-04-01' and order_date <= ‘2023-06-30' and city in [‘北京‘， '上海'] and category == ‘电子产品' and (price * quantity) > 1000”
filtered_df_query = df.query(query_string)

query() 版本将所有逻辑集中在一个字符串里，对于简单的筛选，可读性很高。但对于非常复杂的、涉及多层括号和外部函数的逻辑，可能会变得难以维护。

4.6 使用loc[]实现并同时选择特定列

如果我们不仅想筛选行，还想在结果中只保留 order_id ， product ， city ， order_date 和计算出的 amount 这几列， loc 就派上用场了。

# 先计算金额列，方便使用
df[‘order_amount'] = df[‘price'] * df[‘quantity']

# 使用loc进行行列同时筛选
selected_columns = [‘order_id‘， 'product‘， 'city‘， 'order_date‘， 'order_amount']
filtered_df_with_selected_cols = df.loc[final_condition， selected_columns]

这样得到的结果数据框，既满足了行筛选条件，又只包含了我们关心的列，非常高效。

5. 常见问题排查与实战技巧

在实际操作中，你肯定会遇到各种各样的问题。下面是我总结的一些典型问题和解决技巧。

5.1 问题一：ValueError: The truth value of a Series is ambiguous.

错误场景 ：当你写下 if df[‘A’] == 1: 这样的语句时。

原因分析 ： df[‘A’] == 1 返回的是一个布尔序列（Series），包含多个True/False值。在 if 语句中，Python期待一个单一的布尔值（True或False），它不知道该如何将整个序列归结为一个值，因此报错“模糊”。

解决方案 ：

5.2 问题二：筛选结果为空，但感觉数据应该存在

排查步骤 ：

  1. 检查数据类型 ：这是最常见的原因。特别是从CSV或Excel加载数据时，数字可能被读成了字符串，日期被读成了字符串。用 df.dtypes 查看列类型。确保比较双方类型一致。例如， df[‘price’] 是字符串 ”1000” ，而你的条件是 df[‘price’] > 500 ，字符串比较和数字比较结果完全不同。需要使用 df[‘price’] = df[‘price’].astype(int) 进行转换。
  2. 处理缺失值和空格 ：字符串列可能包含肉眼不易察觉的首尾空格。使用 df[‘city’].str.strip() 去除空格后再比较。缺失值（NaN）也会导致比较失败，如前所述，需要特殊处理。
  3. 逐条件验证 ：不要一次性组合所有条件。分别打印每个子条件筛选出的结果数量，看是哪个条件过滤掉了所有数据。
    print(“时间条件结果数:”， df[condition_time].shape[0])
print(“城市条件结果数:”， df[condition_city].shape[0])
……
  4. 查看样本数据 ：手动查看几行你认为应该被选中的数据，确认它们的字段值是否完全符合你的条件字符串（大小写、空格、格式等）。

5.3 问题三：筛选速度非常慢

优化建议 ：

  1. 使用适当的数据类型 ：将 object 类型的字符串列转换为 category 类型（适用于唯一值较少的列，如城市、类别）。
    df[‘city'] = df[‘city'].astype(‘category')
df[‘category'] = df[‘category'].astype(‘category')
  2. 索引优化 ：如果经常按某列（如 order_date ）进行范围筛选，可以将其设置为索引 df.set_index(‘order_date’， inplace=True) 。之后筛选可以使用 df.loc[‘2023-04’:‘2023-06’] ，速度会快很多。
  3. 减少内存使用 ：使用 df.info(memory_usage=‘deep’) 查看内存占用。对于大数值列，考虑使用 int32 ， float32 等更节省内存的数据类型（ astype 转换）。
  4. 分块处理 ：对于内存无法一次性加载的超大数据，可以考虑使用 pandas.read_csv 的 chunksize 参数分块读取和处理。

5.4 实战技巧锦囊

  1. 将筛选逻辑函数化 ：如果你的筛选条件需要重复使用或在多个地方调用，将其封装成一个函数。

    def filter_high_value_orders(dataframe， start_dt， end_dt， cities， min_amount):
    “”“筛选高价值订单”“”
    condition = (
        (dataframe[‘order_date'].between(start_dt， end_dt)) &
        (dataframe[‘city'].isin(cities)) &
        (dataframe[‘category'] == ‘电子产品') &
        ((dataframe[‘price'] * dataframe[‘quantity']) > min_amount)
    )
    return dataframe[condition].copy() # 返回副本以避免链式赋值警告

    这样不仅代码复用性高，而且逻辑清晰，易于测试。

  2. 使用 between 处理范围 ：对于数值或日期的范围筛选，使用 between 比写两个不等式更简洁。

    # 更优雅的写法
condition_time = df[‘order_date'].between(‘2023-04-01'， ‘2023-06-30')
condition_age = df[‘age'].between(25， 35， inclusive=‘both') # inclusive参数控制是否包含边界

  3. 链式操作与 .copy() 警告 ：当你对筛选后的DataFrame进行赋值修改时，可能会看到 SettingWithCopyWarning 。一个安全的做法是，如果后续要修改筛选结果，就在返回时使用 .copy() 创建一个独立的副本，如上例函数中所示。

  4. 调试利器： df.query 与变量 ：在Jupyter Notebook中做探索时， query() 配合 @ 符号引用变量非常方便，可以快速改变条件进行交互式分析。

    target_city = ‘北京'
min_sales = 5000
temp_result = df.query(‘city == @target_city and sales > @min_sales')

掌握了这些方法、细节和技巧，你就能从容应对绝大多数基于多列条件的数据筛选任务。记住，核心是理解“布尔掩码”这个思想，然后根据场景选择最合适的工具。多练习，多踩坑，你就能形成自己的最佳实践。数据处理本身不复杂，关键在于细心和对工具的熟练运用。

到此这篇关于Pandas多列条件筛选的实战指南的文章就介绍到这了,更多相关Pandas多列条件筛选内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:
阅读全文