爬虫方案之 PhantomJS

发现 zombie.js 还是太弱了，很多地方不能满足需求，包括 request 的 HTTP 头也不合乎标准，于是硬着头去尝试下 PhantomJS。

这一试，我就后悔了，这么好的东西我居然不先尝试！怎么说呢，它比 zombie 好用太多，加载处理速度方面也是远远超过。唯一比较遗憾的是没有原生的 nodejs 接口，它只是一个环境，像 mocha 这样有自定义的变量，需要用它去执行 js 文件。所以如果要用到爬虫上面的话，需要通过第三方的包去包装一层。比如我用的 https://github.com/amir20/phantomjs-node

目前我没找到这个库一些常用的方法 utils，比如 waitFor 之类的没有实现，所以只能手动实现了，下面贴出我自己实现的：

async function waitFor(testFx, {
  timeout = 3000,
  delay = 100,
  silence = false,
}) {
  function sleep(t) {
    return new Promise((resolve) => {
      setTimeout(resolve, t);
    });
  }

  const start = new Date().getTime();

  async function _waitFor() {
    if (new Date().getTime() - start > timeout) {
      const e = new Error('Timeout');
      if (silence) return e;
      throw e;
    }
    const result = await testFx();
    if (!result) {
      await sleep(delay);
      return await _waitFor();
    }
  }

  return await _waitFor();
}