如何自动刷新出现错误的HTML页面

我有一个奇怪的问题。我有一个php脚本，它只在我们的Web服务器上运行，一旦在数据库中放入新的处理作业，它就会处理大量数据。处理大约需要1-5分钟。

我所做的是运行一个php脚本，检查数据库中是否有未完成的工作，并使用以下html头每隔5秒刷新一次该页面：

<meta http-equiv="refresh" content="5">

服务器只是运行这个脚本，所以它会被自动获取。问题是：有时，当服务器繁忙时，它会抛出一个内部错误500。这意味着页面停止加载，将不再刷新（即使几秒钟后它将再次可用）。

我怎样才能最好地解决这个问题？我已经考虑过让Ajax用他们的轮询系统来做这件事，问题是一个处理作业需要几分钟的时间，如果碰巧同时有几个处理作业，它就会开始同时做所有的处理作业，这是我们不希望的。我甚至不知道当Ajax再次开始刷新时，加载页面是否会停止，从而无法完成脚本。

如果在数据库中创建新作业时有运行PHP脚本的替代方案，我也想知道。