Skip to main content
 首页 » 编程设计

mysql之防止在不使用索引的情况下插入重复项

2024年02月20日15kevingrace

我有一个 MariaDB 表users,大致如下所示:

id INT PRIMARY KEY AUTOINCREMENT, 
email_hash INT, -- indexed 
encrypted_email TEXT, 
other_stuff JSON 

出于隐私原因,我无法在数据库中存储实际的电子邮件。

用于电子邮件的加密不是一对一的,即一封电子邮件可以加密为许多不同的加密表示形式。这使得仅仅在 encrypted_email 列上建立索引毫无意义,因为它永远不会捕获重复项。

数据库中已经有数据,更改加密方法或哈希方法是不可能的。

email_hash 列也不能有唯一索引,因为它应该是一个短哈希,以加快重复检查的速度。它不能太独特,因为它会使所有隐私保证失效。

如何防止数据库中出现具有相同电子邮件地址的两个条目?

另一个限制:我可能无法使用LOCK TABLE,根据文档https://mariadb.com/kb/en/library/lock-tables/

LOCK TABLES doesn't work when using Galera cluster. You may experience crashes or locks when used with Galera.

LOCK TABLES implicitly commits the active transaction, if any. Also, starting a transaction always releases all table locks acquired with LOCK TABLES.

(我确实使用 Galera,并且确实需要事务,因为插入新用户会伴随着其他几个插入和更新)

<小时 />

由于后端应用程序服务器(整体)可以处理个人信息(例如,发送电子邮件、验证登录等),只要它不存储个人信息,我就会在应用程序中进行重复检查。

目前,我正在做这样的事情(伪代码):

perform "START TRANSACTION" 
h := hash(new_user.email) 
conflicts := perform "SELECT encrypted_email FROM users WHERE email_hash = ?", h 
for conflict in conflicts : 
    if decrypt(conflict) == new_user.email : 
        perform "ROLLBACK" 
        return DUPLICATE 
e := encrypt(new_user.email) 
s := new_user.other_stuff 
perform "INSERT INTO users (email_hash, encrypted_email, other_stuff) VALUES (?,?,?)", h, e, s 
perform some other inserts as part of the transaction 
perform "COMMIT" 
return OK 

如果两次尝试在时间上分开,则效果很好。但是,当两个线程尝试同时添加同一用户时,两个事务并行运行,执行选择,看不到冲突的重复项,然后都继续添加用户。如何防止这种情况发生,或者至少立即优雅地恢复?

<小时 />

这就是比赛的样子,经过简化:

  • 两个线程开始事务

  • 两个线程都执行选择,并且选择在两种情况下都返回零行。

  • 两个线程都假设不会有重复。

  • 两个线程都添加用户。

  • 两个线程都提交事务。

  • 现在有两个用户使用同一电子邮件地址。

请您参考如下方法:

SELECT 末尾添加 FOR UPDATE

此外,由于您使用的是 Galera,因此必须在 COMMIT 之后检查错误。 (即报告与其他节点发生冲突时。)