在数据库管理中，重复数据是一个常见问题，它不仅占用存储空间，还可能影响查询性能和数据准确性，SQL 提供了多种方法来去除重复数据，具体选择哪种方法取决于数据表的结构、重复数据的类型以及业务需求，本文将详细介绍几种常用的 SQL 去重方法，包括使用 DISTINCT、GROUP BY、ROW_NUMBER() 窗口函数以及 DELETE 语句,并分析各自的适用场景和注意事项。
使用 DISTINCT 去除重复结果集
DISTINCT 是 SQL 中最简单的去重关键字，用于返回唯一不同的值，它通常与 SELECT 语句一起使用，确保查询结果中不包含重复的行，假设有一个 employees 表，我们想查询所有不重复的部门名称,可以使用以下语句：
SELECT DISTINCT department FROM employees;
DISTINCT 会对所有选定的列进行去重，如果只对部分列去重，可以将其放在 SELECT 关键字后面，需要注意的是，DISTINCT 会影响查询性能，尤其是在大数据量时，因为它需要额外的排序和分组操作。DISTINCT 不能与 GROUP BY 同时使用,因为两者功能重叠。
使用 GROUP BY 去重并聚合数据
GROUP BY 子句通常用于与聚合函数（如 COUNT()、SUM()、AVG() 等）结合使用，对结果集进行分组，但它也可以用于去重，尤其是在需要保留重复数据中的某些信息时，如果我们想获取每个部门的员工数量，同时确保部门名称不重复,可以使用：
SELECT department, COUNT(*) AS employee_count FROM employees GROUP BY department;
GROUP BY 的优势在于它可以在去重的同时对数据进行聚合操作，非常适合生成统计报表，但需要注意的是，GROUP BY 要求 SELECT 列表中的非聚合列必须包含在 GROUP BY 子句中,否则会导致错误。
使用 ROW_NUMBER() 窗口函数精确去重
对于更复杂的去重需求，例如保留重复数据中的最新或特定记录，可以使用窗口函数 ROW_NUMBER()，该函数可以为结果集中的每一行分配一个序号，结合 PARTITION BY 子句可以实现分组去重，假设 employees 表中有重复的员工记录，我们想保留每个员工 ID 中最新的记录,可以使用以下语句：
WITH numbered_rows AS (
SELECT
employee_id,
employee_name,
hire_date,
ROW_NUMBER() OVER (PARTITION BY employee_id ORDER BY hire_date DESC) AS row_num
FROM employees
)
DELETE FROM employees
WHERE employee_id IN (
SELECT employee_id FROM numbered_rows WHERE row_num > 1
);
上述代码首先使用 ROW_NUMBER() 为每个 employee_id 分配序号，按 hire_date 降序排列，然后删除序号大于 1 的重复记录。ROW_NUMBER() 的灵活性使其成为处理复杂去重场景的强大工具，但它的语法相对复杂,需要熟悉窗口函数的使用。
使用 DELETE 语句直接删除重复数据
如果需要直接从表中删除重复数据，可以使用 DELETE 语句结合子查询，假设我们想删除 employees 表中完全重复的行,可以使用以下方法：
DELETE FROM employees
WHERE employee_id IN (
SELECT employee_id
FROM employees
GROUP BY employee_id
HAVING COUNT(*) > 1
);
但这种方法可能会误删数据，因为它会删除所有重复的记录，而不仅仅是多余的记录，更安全的方法是结合 ROW_NUMBER() 或其他条件，确保只删除不需要的重复行，保留 ID 最小的记录：
WITH duplicates AS (
SELECT
employee_id,
ROW_NUMBER() OVER (PARTITION BY employee_id ORDER BY employee_id) AS row_num
FROM employees
)
DELETE FROM employees
WHERE employee_id IN (SELECT employee_id FROM duplicates WHERE row_num > 1);
去重时的注意事项
在执行去重操作时，需要注意以下几点：备份数据是必不可少的步骤，尤其是使用 DELETE 语句时，以防误操作导致数据丢失，理解业务需求是关键，确保去重操作不会影响数据的完整性和业务逻辑，考虑性能影响，大数据量时建议在非高峰期执行去重操作,并适当添加索引以提高查询效率。
相关问答 FAQs
问题 1：如何判断表中是否存在重复数据？
答：可以使用 GROUP BY 子句结合 HAVING 条件来检查重复数据，查询 employees 表中重复的员工 ID：
SELECT employee_id, COUNT(*) AS count FROM employees GROUP BY employee_id HAVING COUNT(*) > 1;
如果查询结果返回大于 1 的计数,说明存在重复数据。
问题 2：去重后如何确保数据的完整性？
答：去重前应先备份数据，并在测试环境中验证去重逻辑，去重后，可以通过查询关键列的唯一性来验证结果，检查 employee_id 是否唯一：
SELECT COUNT(employee_id) AS total_count, COUNT(DISTINCT employee_id) AS unique_count FROM employees;
total_count 和 unique_count 相等,说明去重成功且数据完整。