Azure blob存储;派生列

Question

我想从Azure blob存储中的数据中的另一列创建派生列;任何关于我应该从哪里开始的指针。我正在处理的数据集是一个结构化的数据集。

input dataset= [col_a, col_b, col_c] 
output_dataset= [col_a, col_a^2, col_a*3, col_b] 

Answer 1

如果数据集的大小不是很大，可以尝试以下步骤。

1. 从Azure blob存储中读取所有数据。
2. 将数据反序列化为数据集。
3. 向数据集添加新列并计算此列的值。
4. 反序列化数据集并将数据保存回Azure blob存储。

否则，您需要从Azure blob storage中读取数据集，计算新列的值并将其保存到一个新的行，这取决于您如何将数据集存储在blob中。