处理数值转换中的错误

将数据转换为正确的数值类型，例如整数或浮点数，对执行计算和分析非常重要。然而，数据通常是混乱的。当你尝试转换一个预期包含数字的列时，可能会遇到不符合预期数值格式的值。这可能导致转换过程意外失败。

假设你有一个表示产品价格的列，但它包含的不是 19.99 或 100 这样的纯数字，而是像 $19.99、不可用，甚至是像 2S.00 这样的拼写错误。直接将这样的列转换为数值类型通常会导致错误，从而中断你的数据准备流程。

数值转换为何失败

转换错误通常发生是因为数据包含以下情况：

• 非数字字符： 值可能包含货币符号（$、£）、百分号（%）、单位（kg、lbs）、用作千位分隔符的逗号（1,000）或其他非数字字符。
• 文本占位符： 用于表示缺失或未知信息的条目，例如 N/A、Unknown、missing、null 或简单的空字符串（''）。
• 混合表示： 一个列可能不一致地包含数字字符串和文本描述，例如同一列中的 10 和 ten。

大多数数据分析工具对转换有严格要求。当一个函数试图将 '$19.99' 或 'Unknown' 转换为数字时，它不知道如何解释非数字部分。默认情况下，许多工具会引发错误并停止。这通常是一种安全机制，旨在防止不正确的结果，但这意味着你需要一种方法来管理这些有问题的值。

处理转换错误的方法

当数据难以直接进行数值转换时，你有以下几种方法：

1. 转换前清理数据

这通常是最细致的方法。在尝试转换之前，你需要检查列中常见的非数字模式并进行清理。

• 识别有问题的值： 找出列中独特的非数字条目，以了解问题的范围。
• 使用字符串操作： 应用字符串操作函数来删除或替换不需要的字符。例如：
  • 移除货币符号：'$19.99' 变为 '19.99'。
  • 移除逗号：'1,200' 变为 '1200'。
  • 去除空白：' 50 ' 变为 '50'。
• 处理文本占位符： 决定如何处理像 'N/A' 这样的条目。你可以将它们替换为空字符串或一个特定标记 (token)，以便稍后处理（例如将它们转换为缺失值指示符，如 NaN）。

清理后，你可以再次尝试对修改后的数据进行数值转换。此方法提供了细致的控制，但需要识别并解决存在的每种类型的问题。

2. 转换时强制处理错误

许多数据处理库提供了一种更直接的方式来处理转换过程中的错误。一种常见的方法是“强制处理”错误，这意味着强制进行转换，并自动将任何导致错误的值替换为表示缺失数据的特殊标记。

在流行的 Python pandas 库中，to_numeric() 函数有一个 errors 参数 (parameter)。将 errors='coerce' 设置为：

• 如果一个值可以转换为数字，则进行转换。
• 如果一个值无法转换（它引发错误），则将其替换为 NaN（非数字）。

示例： 假设你有以下数据：['101', '102.5', '£103', 'missing', '105']

在数值转换时使用 errors='coerce' 可能会得到： [101.0, 102.5, NaN, NaN, 105.0]

值 '£103' 和 'missing' 无法直接转换为数字，因此它们被替换为 NaN。

影响： 这种方法将转换问题转变为缺失数据问题。现在你的列中有了 NaN 值，你可以使用第2章中讨论的技术（如删除或填补）来处理它们。当非数字值确实代表缺失或无效条目时，强制处理是有效的。

3. 忽略错误（通常不推荐用于数值转换）

一些工具可能提供简单忽略转换错误的选项（例如 pandas to_numeric 中的 errors='ignore'）。如果你使用此选项，成功转换的值将变为数值，而导致错误的值则保持其原始格式（例如，作为字符串）不变。

结果： 这通常会导致列中出现混合数据类型（同时包含数字和字符串）。

注意： 当你的目标是用于计算或建模的纯数值列时，这种方法通常不适用。算术运算（+、-、*、/）、比较（>、<）以及许多统计函数在包含混合类型的列上会失败或产生无意义的结果。虽然忽略错误可以防止进程停止，但它通常会在后续带来更大的问题。最好是先清理数据，或者强制将错误转换为 NaN 并明确处理缺失值。

选择你的方法

• 优先清理： 当非数字字符代表可以通过系统移除以显露有效数字的格式问题（如 $、,、%）时，这种方法最适用。它需要更多前期工作，但能保留字符串中隐藏的有效数值信息。
• 强制处理错误： 当非数字条目代表真正缺失、无效或无法恢复的数据（N/A、Unknown、拼写错误）时，这种方法是理想的。它是快速获得数值列的方法，但你随后必须有意识地处理生成的 NaN 值。
• 忽略错误： 很少是数值转换的正确选择。除非你有非常具体的原因，并且了解以混合数据类型告终的后果，否则应避免使用此选项。

成功处理数值转换中的错误是创建适合分析的干净、可靠数据的重要一步。通过选择正确的方法，你可以确保数据格式正确，而不会让意外值阻碍你的工作。