如何在留兰香中表达超参数分布？

Question

我正在尝试使用贝叶斯优化库Spearmint来调整机器学习分类器的超参数。我的问题是如何表达不符合统一分布的参数搜索空间？

从project's github page，这里是如何设置两个均匀分布参数的搜索空间的例子：

"variables": { 
    "X": { 
     "type": "FLOAT", 
     "size": 1, 
     "min": -5, 
     "max": 10 
    }, 
    "Y": { 
     "type": "FLOAT", 
     "size": 1, 
     "min": 0, 
     "max": 15 
    } 
} 

如何将我们定义像薄荷如下所示的搜索空间？

SVC_PARAMS = [ 
    { 
     "bounds": { 
      "max": 10.0, 
      "min": 0.01, 
     }, 
     "name": "C", 
     "type": "double", 
     "transformation": "log", 
    }, 
    { 
     "bounds": { 
      "max": 1.0, 
      "min": 0.0001, 
     }, 
     "name": "gamma", 
     "type": "double", 
     "transformation": "log", 
    }, 
    { 
     "type": "categorical", 
     "name": "kernel", 
     "categorical_values": [ 
      {"name": "rbf"}, 
      {"name": "poly"}, 
      {"name": "sigmoid"}, 
     ], 
    }, 
] 

有查找所有的随机表达式（即uniform，normal，log等），目前正由薄荷支持的地方吗？

Answer 1

薄荷从数据中自动学习这些类型的转换。如果你在这里看一下：https://github.com/HIPS/Spearmint/tree/master/spearmint/transformations 你可以看到应用的beta warping的实现（在本文中详细描述：http://arxiv.org/abs/1402.0929）。留兰香没有办法指定这些先验，但你可以使用薄荷。参数的日志（通过给出参数范围的日志和您的结尾的指数）。