在“无限”循环线程中运行代理是错误的？

Question

我有一个网络爬虫，其中基本布局是一个管理器，它运行代理打开连接，获取内容并将其插入到数据库中。

这些试剂中的每一个在一个循环中，直到用户发送一个停止信号运行在单独的线程。这些代理从经理代理处获取任务。

问题是如果在一个剂发生了异常，它不能被倒掉到接口（除非我使用一些观察者发信号通知发生了异常）。

我想，这样的设计是错误的，正确的是建立一个有限的任务，并把他们的执行人（创建任务为每个URL打开连接，获取内容或插入到数据库）。

我是对的，我目前的设计是错误的，必须改变布局？多线程使用的正确布局是什么？不同的代理在不同的工作部分执行不同的部分？

Answer 1

是的，我想你应该使用Executors。如果您提交Callable类，你可以从你的蜘蛛代理抛出并检查返回Future这导致引发的作业提交，因此它可以被记录或显示给你的用户界面异常。

ExecutorService pool = Executors.newFixedThreadPool(10); 
Future<Void> future = pool.submit(new Callable<Void>() { 
    public Void call() throws Exception { 
     // your agent code goes here 
     // this can throw an exception in this block which will be re-thrown below 
     return null; 
    } 
}); 
... 
try { 
    // then the exception will be thrown here for you to catch and log 
    future.get(); 
} catch (ExecutionException e) { 
    // log the e.getCause() here 
} 
... 
pool.shutdown();