Python爬虫技术 第24节 数据清洗和预处理（二）

在Python爬虫项目中，数据清洗和预处理是非常关键的步骤。这部分工作通常涉及到字符串操作、缺失值处理和数据格式转换等方面。下面我将详细讲解这些方面的内容，并提供具体的代码示例。

1. 字符串操作

字符串操作在数据清洗过程中非常重要，因为网页内容通常包含大量的文本数据。常见的字符串操作包括去除空白字符、大小写转换、去除特殊字符等。

示例代码：

# 去除空白字符
def remove_whitespace(text):return text.strip()# 大小写转换
def to_lowercase(text):return text.lower()# 去除特殊字符
import re
def remove_special_chars(text):return re.sub(r'[^a-zA-Z0-9\s]', '', text)# 示例使用
text = " Hello, World! "
cleaned_text = remove_whitespace(text)
cleaned_text = to_lowercase(cleaned_text)
cleaned_text = remove_special_chars(cleaned_text)
print(cleaned_text)  # 输出: hello world

2. 缺失值处理

在爬取数据时，有时会遇到缺失值的情况。缺失值可能出现在任何数据类型中，包括字符串、数字等。处理缺失值的方法通常包括删除含有缺失值的记录、填充缺失值等。

示例代码：

import pandas as pd# 创建一个包含缺失值的DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],'Age': [25, None, 30],'Email': ['[e-mail]', '[e-mail]', None]
}
df = pd.DataFrame(data)# 删除含有缺失值的行
df_cleaned = df.dropna()# 使用特定值填充缺失值
df_filled = df.fillna(value='Unknown')# 使用前一个有效值填充缺失值
df_forward_filled = df.fillna(method='ffill')# 使用后一个有效值填充缺失值
df_backward_filled = df.fillna(method='bfill')# 使用统计方法（如均值）填充数值型列的缺失值
mean_age = df['Age'].mean()
df['Age'] = df['Age'].fillna(mean_age)# 显示结果
print(df_cleaned)
print(df_filled)
print(df_forward_filled)
print(df_backward_filled)

3. 数据格式转换

数据格式转换是指将数据从一种格式转换为另一种格式，这在处理日期、货币等数据时非常常见。Python 中有许多内置函数和第三方库可以帮助完成这项工作。

示例代码：

# 转换日期格式
from datetime import datetimedate_str = '2024-07-30'
date_obj = datetime.strptime(date_str, '%Y-%m-%d')
formatted_date = date_obj.strftime('%d/%m/%Y')
print(formatted_date)  # 输出: 30/07/2024# 货币格式转换
price_str = '$1,234.56'
price_float = float(price_str.replace('$', '').replace(',', ''))
print(price_float)  # 输出: 1234.56

总结

以上就是关于数据清洗和预处理中字符串操作、缺失值处理和数据格式转换的详细讲解及示例代码。在实际项目中，你可能需要根据具体情况调整这些步骤，以适应不同的数据来源和需求。

如果你有任何具体问题或需要进一步的帮助，请随时告诉我！

我们可以深入到一些更具体的细节，比如处理日期时间、正则表达式匹配、以及更复杂的缺失值处理策略等。接下来，我将给出一些额外的示例代码来展示这些操作。

1. 处理日期时间

在处理日期时间数据时，通常需要将它们转换为统一的格式，以便进行比较或计算。Python 中的 datetime 模块提供了强大的日期时间处理能力。

示例代码：

from datetime import datetime# 假设我们从网页中提取了日期字符串
date_strs = ['2024-07-30', '2024-08-01', '2024-08-02']# 将日期字符串转换为 datetime 对象
dates = [datetime.strptime(date, '%Y-%m-%d') for date in date_strs]# 将 datetime 对象转换回字符串，但格式不同
formatted_dates = [date.strftime('%d/%m/%Y') for date in dates]# 打印转换后的日期
print(formatted_dates)  # 输出: ['30/07/2024', '01/08/2024', '02/08/2024']

2. 正则表达式匹配

正则表达式是用于文本模式匹配的强大工具。在数据清洗中，正则表达式可以用来提取特定格式的数据或去除不需要的部分。

示例代码：

import re# 假设我们有一段从网页中提取的文本
text = "The price is $1,234.56 and the date is 2024-07-30."# 提取价格
price_pattern = r'\$\d{1,3}(?:,\d{3})*\.\d{2}'
price_match = re.search(price_pattern, text)
price = price_match.group().replace('$', '').replace(',', '')# 提取日期
date_pattern = r'\d{4}-\d{2}-\d{2}'
date_match = re.search(date_pattern, text)
date = date_match.group()# 打印结果
print(price)  # 输出: 1234.56
print(date)  # 输出: 2024-07-30

3. 复杂的缺失值处理

除了简单的填充缺失值之外，还可以使用更复杂的方法来处理缺失数据，例如基于其他变量的预测填充、使用机器学习模型预测缺失值等。

示例代码：

import pandas as pd
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler# 创建一个包含缺失值的DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie'],'Age': [25, None, 30],'Email': ['[e-mail]', '[e-mail]', None]
}
df = pd.DataFrame(data)# 使用中位数填充年龄列的缺失值
imputer = SimpleImputer(strategy='median')
age_imputed = imputer.fit_transform(df[['Age']])
df['Age'] = age_imputed# 使用众数填充电子邮件列的缺失值
email_imputer = SimpleImputer(strategy='most_frequent')
email_imputed = email_imputer.fit_transform(df[['Email']])
df['Email'] = email_imputed# 显示结果
print(df)

4. 综合示例

现在，让我们将上述所有的示例整合起来，创建一个更全面的数据清洗和预处理脚本。

示例代码：

import re
import pandas as pd
from datetime import datetime
from sklearn.impute import SimpleImputer# 定义数据清洗函数
def clean_data(df):# 去除字符串两端的空白字符df['Name'] = df['Name'].str.strip()# 转换年龄列的格式df['Age'] = df['Age'].astype(str).str.replace(',', '').astype(float)# 处理日期df['Date'] = df['Date'].apply(lambda x: datetime.strptime(x, '%Y-%m-%d').strftime('%d/%m/%Y'))# 使用正则表达式提取价格df['Price'] = df['Price'].apply(lambda x: re.search(r'\$\d{1,3}(?:,\d{3})*\.\d{2}', x).group())df['Price'] = df['Price'].str.replace('$', '').str.replace(',', '')# 使用中位数填充年龄列的缺失值imputer = SimpleImputer(strategy='median')df['Age'] = imputer.fit_transform(df[['Age']])# 使用众数填充电子邮件列的缺失值email_imputer = SimpleImputer(strategy='most_frequent')df['Email'] = email_imputer.fit_transform(df[['Email']])return df# 创建一个包含各种数据类型的DataFrame
data = {'Name': [' Alice ', 'Bob', 'Charlie'],'Age': ['25', None, 30],'Email': ['[e-mail]', '[e-mail]', None],'Date': ['2024-07-30', '2024-08-01', '2024-08-02'],'Price': ['$1,234.56', 'The price is $1,234.56', 'Price: $1,234.56']
}
df = pd.DataFrame(data)# 清洗数据
df_cleaned = clean_data(df)# 显示结果
print(df_cleaned)

这个综合示例包含了从数据清洗到预处理的多种操作，包括字符串操作、缺失值处理、数据格式转换等。您可以根据自己的具体需求调整这些步骤。如果有任何疑问或需要进一步的帮助，请随时提问！

当然可以！既然您希望继续讨论数据清洗和预处理的话题，我们可以进一步探讨一些高级的主题，例如使用正则表达式进行更复杂的文本清洗、使用Pandas进行高级的数据处理操作，以及使用更高级的缺失值处理方法。

4. 使用正则表达式进行更复杂的文本清洗

正则表达式是一种非常强大的工具，可以用来进行复杂的文本匹配和替换。我们可以利用它来处理更复杂的文本清洗任务。

示例代码：

import re# 假设我们从网页中提取了一些文本数据
text = """
John Doe, 25 years old, lives at 123 Main St.
Jane Smith, 32 years old, lives at 456 Elm St.
"""# 使用正则表达式提取姓名和年龄
pattern = r'(\w+\s\w+), (\d+) years old'
matches = re.findall(pattern, text)# 将匹配结果转换为字典
result = [{'Name': name, 'Age': int(age)} for name, age in matches]# 打印结果
print(result)
# 输出: [{'Name': 'John Doe', 'Age': 25}, {'Name': 'Jane Smith', 'Age': 32}]

5. 使用Pandas进行高级的数据处理操作

Pandas 是一个非常强大的数据处理库，可以方便地处理数据框 (DataFrame) 和序列 (Series)。这里有一些使用 Pandas 进行数据清洗和预处理的高级示例。

示例代码：

import pandas as pd# 创建一个包含混合数据类型的 DataFrame
data = {'Name': ['John Doe', 'Jane Smith', 'None', ''],'Age': [25, 32, None, 28],'Email': ['[e-mail]', '[e-mail]', None, '']
}
df = pd.DataFrame(data)# 使用 Pandas 的函数进行数据清洗和预处理
# 替换空字符串为 NaN
df = df.replace('', pd.NA)# 使用 fillna() 方法处理缺失值
# 使用 'Unknown' 填充 Name 列的缺失值
df['Name'] = df['Name'].fillna('Unknown')# 使用 Age 列的平均值填充 Age 列的缺失值
df['Age'] = df['Age'].fillna(df['Age'].mean())# 使用 Email 列的众数填充 Email 列的缺失值
df['Email'] = df['Email'].fillna(df['Email'].mode()[0])# 打印处理后的 DataFrame
print(df)

6. 使用更高级的缺失值处理方法

在处理缺失值时，除了简单的填充或删除外，还可以使用更高级的方法，例如基于其他变量的预测填充、使用机器学习模型预测缺失值等。

示例代码：

import pandas as pd
from sklearn.impute import KNNImputer# 创建一个包含缺失值的 DataFrame
data = {'Name': ['John Doe', 'Jane Smith', 'None', ''],'Age': [25, 32, None, 28],'Email': ['[e-mail]', '[e-mail]', None, '']
}
df = pd.DataFrame(data)# 使用 KNNImputer 基于其他特征预测 Age 列的缺失值
imputer = KNNImputer(n_neighbors=2)
df['Age'] = imputer.fit_transform(df[['Age']])# 使用 Email 列的众数填充 Email 列的缺失值
df['Email'] = df['Email'].fillna(df['Email'].mode()[0])# 打印处理后的 DataFrame
print(df)

7. 结合所有操作

最后，我们可以将前面的所有操作整合到一个完整的脚本中，以便更系统地处理数据。

示例代码：

import re
import pandas as pd
from sklearn.impute import KNNImputer# 定义数据清洗函数
def clean_data(df):# 使用正则表达式清洗姓名df['Name'] = df['Name'].apply(lambda x: re.sub(r'\s+', ' ', x).strip())# 使用 KNNImputer 基于其他特征预测 Age 列的缺失值imputer = KNNImputer(n_neighbors=2)df['Age'] = imputer.fit_transform(df[['Age']])# 使用 Email 列的众数填充 Email 列的缺失值df['Email'] = df['Email'].fillna(df['Email'].mode()[0])return df# 创建一个包含各种数据类型的 DataFrame
data = {'Name': [' John Doe ', 'Jane Smith', 'None', ''],'Age': [25, 32, None, 28],'Email': ['[e-mail]', '[e-mail]', None, '']
}
df = pd.DataFrame(data)# 清洗数据
df_cleaned = clean_data(df)# 显示结果
print(df_cleaned)

这些示例涵盖了使用正则表达式进行复杂的文本清洗、使用 Pandas 进行高级的数据处理操作，以及使用更高级的缺失值处理方法。这些技巧可以帮助您更有效地清洗和预处理数据。如果您有更具体的需求或问题，请随时提出！