batch-processing

1热度

1回答

我找不到合适的问题标题，对不起。我有一个由两个主要数据流组成的图形：图像分类和标签清理。我有两个类型的数据：来自验证组（IMAGE_DATA，noisy_label）从列车设置首先是用来训练标签清洁部（IMAGE_DATA，noisy_label，verified_label）的图。第二个用于在清理了嘈杂的标签后对图像分类进行训练。每批需要比例为1：9。我该如何创建这种类型的批？张量

0热度

1回答

如何功能测试和自动化一个春天批处理Java应用程序？

我们在基于Java的应用程序（金融银行应用程序）中使用了spring批处理，我正在寻找一个好工具来测试使用自动化（还需要CI集成）的功能，包括作业级功能。目标是逐个运行批处理作业，并验证应用程序的功能是否正常工作。我想知道是否有人使用任何工具，这将有助于操作系统和付费操作系统。

0热度

1回答

雅虎分析并未注册我的所有网页

-1热度

1回答

Mule批量作业耗时过长以丰富数据

我想丰富数据以创建XML文件。第一个查询执行Group By以获取事务头。第二个查询获取与来自同一文件头部相匹配的所有记录（详细信息）以丰富该消息。问题是需要大约一秒来运行丰富数据的查询。我需要运行184,764头的这个过程。在每个标题一秒钟的时间内，这项工作需要很长时间。有没有办法完成同样的事情，而不必查询数据库的细节？所有记录是否可以先加载并从内存中获取细节？代码如下： <db:gene

1热度

1回答

根据关键字排序文件，需要更多的数据库-y解决方案

我正在制作一个脚本，通过检查文件中的已知关键字将视频文件分类到文件夹中。随着关键字数量的增长失控，脚本变得非常慢，需要几秒钟处理每个文件。 @echo off cd /d d:\videos\shorts if /i not "%cd%"=="d:\videos\shorts" echo invalid shorts dir. && exit /b :: auto detect fold

0热度

1回答

每小时或每天都有一个kafka话题是典型的吗？

我正在向kafka记录页面访问和搜索查询（某种点击流分析）。我打算定期批量处理它们，比如每小时或每天，然后将汇总结果写入elasticsearch。如果没有写入kafka，而是写入文件系统，则很容易将记录器配置为写入文件名中带有时间戳的文件，该文件按照小时/天的间隔自动分隔日志。但与卡夫卡，我GOOGLE了足够多的时间，还没有找到每小时/每天创建一个新的话题的任何例子。如果不每小时/每天创建一

0热度

2回答

将单个参数而不是列表传递给ItemWriter接口的Write（）方法

我使用Spring Batch从CSV文件读取数据，然后将其保存到数据库中。到目前为止，一切都很好，除了我的输入文件包含混合数据（多个表格有多个列）。我创建了一个类CsvFileLine将包含文件的整条生产线，并实现了接口ItemReader<CsvFileLine>，然后实现的接口ItemProcessor<List<CsvFileLine>, ProcessorResult>给谁，我会通过的

0热度

1回答

HIbernate批量插入或更新不能在弹簧启动工作

我需要更新批量插入（近10000）在我的mysql数据库。我使用jpa/hibernate和spring启动。我读hibernate从hibernate文档中执行批量插入/更新，我认为我的代码不工作，因为它正在顺序插入hibernate查询，而不是执行组中的then。以下是我的代码。我错过了什么？这是我的数据源配置。 @Component public class Datasource `e

1热度

1回答

在Photoshop中完成批处理后运行脚本

在Photoshop中完成批处理后，是否可以运行脚本？我创建了一个Action，我通过Automate> Batch运行它，但是我希望仅在批处理完成后运行其他脚本。有没有办法做到这一点？

1热度

2回答

多重数据库与单一数据库

我们正在开发一个新版本的Web应用程序。我们有多个客户端（500+），每个客户端都有自己的数据库，拥有自己的数据：用户，产品... 在新版本中，所有客户端将共享一些数据，例如，用户即将进入平台，但每个客户端只能访问其用户，但不是让每个客户端的用户都拥有集中表中的所有用户。其他的东西，如产品，订单......将属于每个客户。每个客户端都将在其域中安装该Web应用程序的副本。我们的应用程序是一