新的dataset.map转换和查找表：不兼容的字符串类型

Question

我期待使用1.2中可用的new Dataset API，但在应用简单的map转换时会遇到问题，该转换会在index table中查找单词。

考虑一个简单的例子：

import tensorflow as tf 

mapping_strings = tf.constant(["emerson", "lake", "palmer"]) 
table = tf.contrib.lookup.index_table_from_tensor(
    mapping=mapping_strings, num_oov_buckets=1) 

dataset = tf.contrib.data.Dataset.from_tensor_slices(
    tf.constant(["emerson", "lake"])) 

# Here is the map operation that generates an error. 
dataset = dataset.map(lambda x: table.lookup(x)) 

iterator = dataset.make_one_shot_iterator() 
next_element = iterator.get_next() 

with tf.Session() as sess: 
    sess.run(tf.tables_initializer()) 
    sess.run(next_element) 

随着1.2.0-rc2，它会生成以下错误：

TypeError: In op 'string_to_index_Lookup/hash_table_Lookup', input types ([tf.string, tf.string, tf.int64]) are not compatible with expected types ([tf.string_ref, tf.string, tf.int64]) 

查找表需要一个tf.string_ref这个规定并没有得到满足。

由于我是TensorFlow的新手，我不认为这是一个错误，而是一个糟糕的用法。我的错误是什么？

谢谢！

编辑2017年6月15日：随着nightly版本，但是，它抛出另一个错误：

ValueError: Cannot capture a stateful node (name:string_to_index/hash_table, type:HashTableV2) by value. 

Answer 1

您可能需要使用Dataset.make_initializable_iterator()，而不是Dataset.make_one_shot_iterator()因为哈希表状态。

下面的代码为我工作：

import tensorflow as tf 

mapping_strings = tf.constant(["emerson", "lake", "palmer"]) 
table = tf.contrib.lookup.index_table_from_tensor(
    mapping=mapping_strings, num_oov_buckets=1) 

dataset = tf.contrib.data.Dataset.from_tensor_slices(
    tf.constant(["emerson", "lake"])) 

# Here is the map operation that generates an error. 
dataset = dataset.map(lambda x: table.lookup(x)) 

iterator = dataset.make_initializable_iterator() 
init_op = iterator.initializer 

with tf.Session() as sess: 
    sess.run(tf.tables_initializer()) 
    sess.run(init_op)