Python高效处理Excel文件的12个Pandas函数总结

import pandas as pd

# 基本读取
df = pd.read_excel('data.xlsx')

# 读取特定工作表
df = pd.read_excel('data.xlsx', sheet_name='Sheet1')

# 读取特定列
df = pd.read_excel('data.xlsx', usecols=['Name', 'Age'])

# 读取特定行范围
df = pd.read_excel('data.xlsx', nrows=100)  # 只读取前100行

# 基本写入
df.to_excel('output.xlsx')

# 不写入索引
df.to_excel('output.xlsx', index=False)

# 写入特定工作表
with pd.ExcelWriter('output.xlsx') as writer:
    df.to_excel(writer, sheet_name='Sheet1')

# 格式化输出
with pd.ExcelWriter('formatted.xlsx', engine='xlsxwriter') as writer:
    df.to_excel(writer, sheet_name='Sheet1')
    workbook = writer.book
    worksheet = writer.sheets['Sheet1']
    
    # 设置列宽
    worksheet.set_column('A:A', 20)
    
    # 添加格式
    format1 = workbook.add_format({'bold': True, 'font_color': 'red'})
    worksheet.write(0, 0, 'Important Header', format1)

with pd.ExcelFile('multi_sheet.xlsx') as xls:
    # 获取所有工作表名
    sheet_names = xls.sheet_names
    
    # 读取特定工作表
    df1 = pd.read_excel(xls, sheet_names[0])
    df2 = pd.read_excel(xls, sheet_names[1])
    
    # 或者使用字典存储所有工作表
    all_sheets = {sheet: pd.read_excel(xls, sheet) for sheet in sheet_names}

# 查看前5行（默认）
print(df.head())

# 查看前10行
print(df.head(10))

# 查看后5行（默认）
print(df.tail())

# 查看后3行
print(df.tail(3))

df.info()

# 对所有数值列生成统计信息
print(df.describe())

# 对特定列生成统计信息
print(df['Age'].describe())

# 包含非数值列
print(df.describe(include='all'))

# 删除包含任何缺失值的行
df_clean = df.dropna()

# 删除包含任何缺失值的列
df_clean = df.dropna(axis=1)

# 只删除全为缺失值的行
df_clean = df.dropna(how='all')

# 删除在特定列中包含缺失值的行
df_clean = df.dropna(subset=['Age', 'Salary'])

# 用0填充所有缺失值
df_filled = df.fillna(0)

# 用前一个有效值填充（向前填充）
df_filled = df.fillna(method='ffill')

# 用后一个有效值填充（向后填充）
df_filled = df.fillna(method='bfill')

# 用列均值填充
df_filled = df.fillna(df.mean())

# 对不同列使用不同的填充值
fill_values = {'Age': df['Age'].median(), 'Department': 'Unknown'}
df_filled = df.fillna(fill_values)

# 基本分组
grouped = df.groupby('Department')

# 计算每个部门的平均工资
avg_salary = grouped['Salary'].mean()

# 多列分组
multi_grouped = df.groupby(['Department', 'Gender'])

# 多种聚合操作
agg_result = multi_grouped['Salary'].agg(['mean', 'median', 'count'])

# 分组后应用多个函数
result = df.groupby('Department').agg({'Salary': ['mean', 'max'],'Age': 'min'})

# 创建示例DataFrame
df1 = pd.DataFrame({
    'EmployeeID': [1, 2, 3],
    'Name': ['Alice', 'Bob', 'Charlie']})

df2 = pd.DataFrame({
    'EmployeeID': [1, 2, 4],
    'Salary': [70000, 80000, 90000]})

# 内连接（默认）
merged = pd.merge(df1, df2, on='EmployeeID')

# 左连接
left_merged = pd.merge(df1, df2, on='EmployeeID', how='left')

# 右连接
right_merged = pd.merge(df1, df2, on='EmployeeID', how='right')

# 外连接
outer_merged = pd.merge(df1, df2, on='EmployeeID', how='outer')

# 合并多个键
df3 = pd.DataFrame({
    'EmployeeID': [1, 1, 2],
    'Date': ['2022-01-01', '2022-02-01', '2022-01-15'],
    'Performance': [4.5, 4.7, 3.9]})

merged_multi = pd.merge(df1, df3, on='EmployeeID')

# 创建示例DataFrame
df = pd.DataFrame({
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [25, 30, 35],
    'Salary': [50000, 60000, 70000]})

# 对列应用函数 - 计算奖金（薪资的10%）
df['Bonus'] = df['Salary'].apply(lambda x: x * 0.1)

# 对行应用函数 - 创建全名
df['Full_Name'] = df.apply(lambda row: f"{row['Name']} ({row['Age']})", axis=1)

# 定义更复杂的函数
def calculate_tax(salary, age):
    if age > 30:
        return salary * 0.2
    else:
        return salary * 0.15

df['Tax'] = df.apply(lambda row: calculate_tax(row['Salary'], row['Age']), axis=1)

# 使用applymap对每个元素应用函数（适用于元素级操作）
df = df.applymap(lambda x: str(x).upper() if isinstance(x, str) else x)

# 分块读取大文件
chunk_size = 10000  # 每次读取的行数
chunks = pd.read_excel('large_file.xlsx', chunksize=chunk_size)

# 处理每个块
for i, chunk in enumerate(chunks):
    # 处理数据
    processed_chunk = process_data(chunk)
    
    # 写入输出文件（追加模式）
    if i == 0:
        processed_chunk.to_excel('output.xlsx', index=False)
    else:
        with pd.ExcelWriter('output.xlsx', mode='a', engine='openpyxl') as writer:
            processed_chunk.to_excel(writer, sheet_name=f'Chunk_{i}', index=False)