windowing

0热度

1回答

我们正试图在spark中实现Window函数。 Spark通过Kafka接收数据（有5个分区），我们使用Spark Java DStream进行处理。一旦将逗号分隔的数据从kafka映射到Spark中的对象，我们将创建一个20秒的窗口，该窗口在1秒内滑动。在这个Java DStream中，我们计算并打印输出（实际上我们想要做更多的处理，但为了简单起见，只应用了计数）。一切正常，直到处理时间出现尖峰

0热度

1回答

Apache Flink。加水印的开窗

我试图通过延时最多30秒的分钟时间戳来加密60秒数据。我正在接收数据。水印和时间戳正在设置中。看起来，汇总的数据永远不会发送到ohlcStreamAggregated，因此它们不会被记录。 public TimestampExtractor(Time maxDelayInterval) { if (maxDelayInterval.toMilliseconds() < 0) {

0热度

1回答

SQL窗与分组

累计总和我有一个表像这样 |week_no|value|attribute| ------------------------- | 1 | 3 | a | | 2 | 3 | a | | 3 | 3 | a | | 1 | 4 | b | | 2 | 4 | b | | 3 | 4 | b | 我想有一个帐户累计值列 |week_no|value|attribute|accum

0热度

2回答

SQL服务器窗 - 24小时的窗口

，我有以下数据 CREATE TABLE [dbo].[Test]( [CustId] [int] NULL, [Spend] [money] NULL, [TimeOdSpent] [datetime] NULL, [ID] [int] IDENTITY(1,1) NOT NULL ) ON [PRIMARY] GO SET IDENTITY_INS

-1热度

1回答

Hive Windowing ORDER BY

你好，我对Hive很新，并且正在学习Hive的WINDOWING功能。我遇到了一个问题。我试图找到的最低收盘价为每个股票代码（每个股票有22条记录，我想找到最低）我写了一个查询： SELECT ticker, close FROM (SELECT ticker, close, RANK() OVER (PARTITION BY ticker) AS rank FROM stocks)

-1热度

1回答

汉恩窗口开始和结束的值似乎没有意义

我正在玩mathdotnet，正在尝试用于FFT的不同窗口。我特别好奇Hann窗口（尽管我相信这也适用于其他人）。当我生成2048个样本的Hann窗口时，我希望得到一组变量逐渐增加到一个峰值，然后以相同的速率逐渐减小。我所得到的却是这样的： [0] 0 double [1] 2.3553948388377322E-06 double [2] 9.42155716371

0热度

1回答

Azure流分析 - 当发生事件时启动/停止/重置窗口

我试图用这个逻辑在Azure流分析（ASA）作业中构建规则：“当值在X和Y之间时，它保持在该范围持续1分钟，然后输出到服务总线（然后发送到Azure功能发送警报），如果该值在1分钟窗口内超出此范围，则应重置窗口。我一直在阅读窗口函数，在我看来，ASA启动时窗口开始，但我可能是错的。有没有办法在发生“坏值”事件时启动（翻滚）窗口，并在值变为好（范围之外）时停止窗口？谢谢！

1热度

1回答

阿帕奇弗林克：上KeyedStream

斜交数据分发我在弗林克此Java代码： env.setParallelism(6); //Read from Kafka topic with 12 partitions DataStream<String> line = env.addSource(myConsumer); //Filter half of the records DataStream<Tuple2<String,

1热度

1回答

熊猫：滚动计数，如果在一个循环内

在我的数据框中，我想创建一个'5D_Peak'列作为滚动最大值，然后是滚动计数的历史数据接近峰值的另一列。我想知道是否有简单的方法来简单地或理想地引导计算。这是我在一个普通的，但复杂的方式代码： import numpy as np import pandas as pd df = pd.DataFrame([[1,2,4],[4,5,2],[3,5,8],[1,8,6],[5,2,8],

4热度

3回答

SQL窗口坚持在给定的条件

我身边有一个网站，该网站有不同的店的部分，但是当用户在年底检查出来，我们只知道一些数据的记录是通过寻找他们最什么铺段近期部分打例如，如果我有一个看起来像 session, hit_number, page a,1,homepage a,2,generic_page a,3,shoe_store, a,4,buy_add_basket a,5,buy_checkout b,1,sock