在使用HTML5文件API上传之前唯一标识文件

Uniquely identify files before uploading with the HTML5 file API

本文关键字:文件 唯一 标识 API HTML5      更新时间:2023-09-26

我正在使用HTML5文件API构建一个文件上传器。根据文件包含的实际数据,我想确保没有重复的文件被上传。这意味着两个文件应该被认为是相同的,即使它们的名称不同或位于不同的文件夹。

我考虑过用md5计算哈希值,但因为这一切都必须发生在客户端,使用javascript,更大的文件将花费太长时间。当我说大的时候,我指的是高达5gb的视频。

要清楚,这并不一定涉及校验和,我只想唯一地标识文件。对于这个目的,哈希可能有点过头了,但它是我首先想到的。

更新:我想我需要一个轻量级的指纹算法。我在维基百科上找到了Rabin作为一个例子,但我不知道如何在javascript中实现它。

没有捷径。如果您需要零歧义地识别重复文件,那么您必须读取并比较文件的完整内容。

但是如果你能忍受一定程度的误报,那么你可能会采取一些策略。对于类似的问题,我计算给定文件块子集的MD5哈希值(使用预定义的不变窗口)。