数据库根据指定字段去重


本文摘自PHP中文网,作者步履不停,侵删。

需求:对一张用户表根据name/email/card_num字段去除重复数据;

思路:用group by方法可以查询出'去重'后的数据,将这些数据存储到一张临时表中,然后将临时表的数据存储到指定的表中;

误区及解决方案:group by方法只能获取部分字段(去重指定字段),不能一次获取到完整的数据,但是可以通过max函数获取group by结果集中的id,再根据id集合查询出全部的记录。

测试思路

  • 查询去重后的数据

SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num;

  • 从去重后的数据中获取id集合

SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T;

  • 根据去重后的数据中获取id集合,从源数据中获得记录列表

SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);

实际方法

  • 根据去重后的数据中获取id集合,从源数据中获得记录列表,将这些列表数据存入一个临时表中

create TEMP TABLE tmp_data as SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);

  • 将临时表中的数据存入指定的数据表中,完毕

insert into users_copy1 select * from tmp_data;

检测

  • 检测结果是不是和第一步查询去重后的数据总数相同

select count(*) from users_copy1;

测试结果:1.4w条数据中有2300条数据重复,实际运行结果为0.7s,基本满足现在的需求。

更多MySQL相关技术文章,请访问MySQL教程栏目进行学习!

以上就是数据库根据指定字段去重的详细内容,更多文章请关注木庄网络博客

相关阅读 >>

如何使用mysql完成excel中的数据生成

mysql联合查询语句是什么

如何解决mysql启动报error:2002的分析

mysql数据库安装后在服务中没有mysql启动项的详解

mysql常用sql语句总结包含复杂sql查询

mysql数据库sql语句优化

mysql如何求时间段平均值

mysql乱码问题终极指南

对象关系映射orm有什么缺点?

mysql修改账号的ip限制条件实例分享

更多相关阅读请进入《mysql》频道 >>


数据库系统概念 第6版
书籍

数据库系统概念 第6版

机械工业出版社

本书主要讲述了数据模型、基于对象的数据库和XML、数据存储和查询、事务管理、体系结构等方面的内容。



打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...