从多个来源有效更新表格

Question

我正在改进Oracle中现有ETL层的一部分。

1. 将文件加载到临时表中。
2. 执行许多MERGE语句来解析代理键。
3. 应用了其他一些业务逻辑（需要这些代理键）。
4. 结果合并 在表中（同时与代理键和业务逻辑 结果）

这是第2步，我想提高，似乎比理想少做到这一点作为几个步骤。

MERGE INTO temp t 
USING dimension_1 d1 ON (d1.natural_key = t.d1_natural_key) 
WHEN MATCHED THEN UPDATE t.d1_id = d1.id 

MERGE INTO temp t 
USING dimension_2 d2 ON (d2.natural_key = t.d2_natural_key) 
WHEN MATCHED THEN UPDATE t.d2_id = d2.id 

MERGE INTO temp t 
USING dimension_3 d3 ON (d3.natural_key = t.d3_natural_key) 
WHEN MATCHED THEN UPDATE t.d3_id = d3.id 

如果我在SQL Server写这个我会做类似如下：

UPDATE 
    t 
SET 
    d1_id = COALESCE(d1.id, -1), 
    d2_id = COALESCE(d2.id, -1), 
    d3_id = COALESCE(d3.id, -1) 
FROM 
    temp t 
LEFT JOIN 
    dimension_1 d1 
     ON d1.natural_key = t.d1_natural_key 
LEFT JOIN 
    dimension_2 d2 
     ON d2.natural_key = t.d2_natural_key 
LEFT JOIN 
    dimension_3 d3 
     ON d3.natural_key = t.d3_natural_key 

对我的生活中，我找不到什么似乎像Oracle中的明智的选择。我已经能够解决的最好的办法是使用更新（而我周围的每个人都在尖叫我必须使用MERGE）和相关的子查询;像...

UPDATE 
    temp t 
SET 
    d1_id = COALESCE((SELECT id FROM dimension_1 d1 WHERE d1.natural_key = t.d1_natural_key), -1), 
    d2_id = COALESCE((SELECT id FROM dimension_2 d2 WHERE d2.natural_key = t.d2_natural_key), -1), 
    d3_id = COALESCE((SELECT id FROM dimension_3 d3 WHERE d3.natural_key = t.d3_natural_key), -1) 

有没有更好的选择？或者是在Oracle中实际执行的相关子查询方法？

Answer 1

我觉得你的SQL Server更新的等效是：

UPDATE 
    temp t1 
SET 
    (d1_id, d2_id, d3_id) = (
SELECT 
    COALESCE(d1.id, -1), 
    COALESCE(d2.id, -1), 
    COALESCE(d3.id, -1) 
FROM 
    temp t2 
LEFT JOIN 
    dimension_1 d1 
     ON d1.natural_key = t2.d1_natural_key 
LEFT JOIN 
    dimension_2 d2 
     ON d2.natural_key = t2.d2_natural_key 
LEFT JOIN 
    dimension_3 d3 
     ON d3.natural_key = t2.d3_natural_key 
WHERE 
    t2.id = t1.id 
) 

它仍然是一个相关的更新;加入发生在子查询中，因为Oracle不允许您作为更新本身的一部分加入。通常你不需要（或者想要）在子查询中再次引用目标外部表，但是你需要一些外部连接来抵抗这里。

您还可以合并相结合左联接方式，把基本相同子查询到using条款：

MERGE INTO temp t 
USING (
    SELECT t.id, 
    COALESCE(d1.id, -1) AS d1_id, 
    COALESCE(d2.id, -1) AS d2_id, 
    COALESCE(d3.id, -1) AS d3_id 
    FROM 
    temp t 
    LEFT JOIN 
    dimension_1 d1 
     ON d1.natural_key = t.d1_natural_key 
    LEFT JOIN 
    dimension_2 d2 
     ON d2.natural_key = t.d2_natural_key 
    LEFT JOIN 
    dimension_3 d3 
     ON d3.natural_key = t.d3_natural_key 
) d 
ON (d.id = t.id) 
WHEN MATCHED THEN UPDATE SET 
    t.d1_id = d.d1_id, 
    t.d2_id = d.d2_id, 
    t.d3_id = d.d3_id 

我没有看到使用合并了更新在这种情况下任何实际的好处虽然。

两者都会覆盖您的三个ID列中的任何现有值，但听起来好像您并不期待会有任何值。

Answer 2

我相信这可能比Alex的答案更有效率 - 只需要temp表的一个访问权限，而不是两个。在我对一百万行的快速测试中，性能大致相同，但该计划更好，因为没有第二次访问temp表。这可能值得您尝试使用您的数据集。

UPDATE 
(SELECT  d1.id s_d1_id, 
       d2.id s_d2_id, 
       d3.id s_d3_id, 
       mt.d1_id, 
       mt.d2_id, 
       mt.d3_id 
     FROM temp mt 
       LEFT JOIN dimension_1 d1 ON d1.natural_key = mt.d1_natural_key 
       LEFT JOIN dimension_2 d2 ON d2.natural_key = mt.d2_natural_key 
       LEFT JOIN dimension_3 d3 ON d3.natural_key = mt.d3_natural_key) 
SET d1_id = COALESCE (s_d1_id, -1), d2_id = COALESCE (s_d2_id, -1), d3_id = COALESCE (s_d3_id, -1); 

需要注意的是，你需要在每个维度表上natural_key列UNIQUE约束。有了这些限制，Oracle知道temp在您更新的视图中保留了密钥，这正是上述语法确定的原因。

另一个警告：我曾经遇到过一种情况，SELECT视图中的行与表格的顺序不同。结果是性能因为更新不得不几次重新访问每个块而损耗了。 SELECT视图中的ORDER BY temp.rowid将解决此问题。