我正在创建一个爬虫程序 - 一个java web应用程序,用户可以在其中定义爬网作业,从中提取和存储特定网站的信息。在java中使用循环结构并行处理
作为这项工作的一部分,有一个'循环'结构......它有一个列表部分,它最初被评估(通常代表一个值列表)......之后是循环体,它对列表中的每个项目执行一次(从前面提到的列表部分)。
请注意,在另一个循环结构中可以有一个循环结构,依此类推。
问题是,有时候一个列表可能包含数百万行数据 - 并且要为此列表中的每一行执行正文。主体有一个起始索引值,索引的上限,并增加1。
我想要做的是,对于单级循环,最初计算列表值并将其存储在数据库中。之后,不是一次执行正文,而是将其分割为不同的部分,以便并行处理列表的不同部分。
但是,如何分解n级循环的作业? (一个循环等在IE中一个循环。)
有没有做这样的处理...任何教程的一些推荐的方式或指导,你可以指出我的,将是对我很大的帮助。