1.在插入数据时候利用insert ignore into语句去重

INSERT INTO tbl (part_name, domain) VALUES( 'BSS138LT1G', 'www.ti.com.cn');

INSERT IGNORE INTO tbl (part_name, domain) VALUES( 'BSS138LT1G', 'www.ti.com.cn'); 

REPLACE INTO tbl (part_name, domain) VALUES( 'BSS138LT1G',  'www.ti.com.cn');

三者区别：

INSERT INTO 插入数据的时候，数据库会检查主键，如果出现重复会报错;

INSERT IGNORE 插入数据时，如果中已经存在相同的记录，则忽略当前新数据，但主键会自增;

REPLACE INTO 表示插入替换数据，当前表中有PrimaryKey，或者unique索引，

如果数据库已经存在数据，则用新数据替换，如果没有重复或者冲突数据则和INSERT INTO插入数据等价;