使用python-c-api调用的Cython回调段错误

Question

使用具有C库的eGige相机的控件工作时，我开始了一个cython代码project，它带有每种语言最好的东西。

该库提供了一种方法来侦听来自相机的心跳，以了解它是否已断开连接。在C++类中的回调函数我已经做了，但是从这个C++类中调用一个类的python方法在我试过的所有方法中都陷入了分段错误。

我封装它在一个特定的C++类：

#include <Python.h> 
/* (...) */ 
PyCallback::PyCallback(PyObject* self, const char* methodName) 
{ 
    Py_XINCREF(self); 
    _self = self; 
    _method = PyObject_GetAttrString(self, methodName); 
} 
PyCallback::~PyCallback() 
{ 
    Py_XDECREF(_self); 
} 
void PyCallback::execute() 
{ 
    try 
    { 
    PyObject *args = PyTuple_Pack(1,_self); 
    PyObject_CallFunctionObjArgs(_method, args); 
    }catch(...){ 
    _error("Exception calling python"); 
    } 
} 

从用Cython对象的代码是：

cdef class Camera(...): 
    # (...) 
    cdef registerRemovalCallback(self): 
     cdef: 
      PyCallback* obj 
     obj = new PyCallback(<PyObject*> self, <char*> "cameraRemovalCallback") 
    cdef cameraRemovalCallback(self): 
     self._isPresent = False 

回溯的最低层，它只是在尝试准备参数。

#0 0x00007ffff7b24592 in PyErr_Restore() from /usr/lib64/libpython2.6.so.1.0 
#1 0x00007ffff7b23fef in PyErr_SetString() from /usr/lib64/libpython2.6.so.1.0 
#2 0x00007ffff7b314dd in ??() from /usr/lib64/libpython2.6.so.1.0 
#3 0x00007ffff7b313ca in ??() from /usr/lib64/libpython2.6.so.1.0 
#4 0x00007ffff7b316c1 in ??() from /usr/lib64/libpython2.6.so.1.0 
#5 0x00007ffff7b31d2f in ??() from /usr/lib64/libpython2.6.so.1.0 
#6 0x00007ffff7b31e9c in Py_BuildValue() from /usr/lib64/libpython2.6.so.1.0 
#7 0x00007ffff637cbf8 in PyCallback::execute (this=0x16212a0) at pylon/PyCallback.cpp:53 
#8 0x00007ffff6376248 in CppCamera::removalCallback (this=0x161fb30, pDevice=<value optimized out>) at pylon/Camera.cpp:387 

我试图让使用_Py_BuildValue（ “（自我）”，个体经营）的参数;但是我在那里有段错误。

我也试图与PyObject_CallFunctionObjArgs与在参数字段NULL，心想也许是指向“自我”已经被嵌入的方法指向一个特定的地址与此对象。但他们我在那里有段错误。

有人看到我的错误吗？那里有什么东西会以不同的方式做出来？我希望这是我身边的误解，关于谁来做这件事。

更新 @2016年8月1日：

发表意见之后适应症，两处修改是在代码所做的：

的所有指针存储到PyCallback首先被存储作为相机的成员 cython级别：

cdef class Camera(...): 
    cdef: 
     #(...) 
     PyCallback* _cbObj 
    # (...) 
    cdef registerRemovalCallback(self): 
     self._cbObj = new PyCallback(<PyObject*> self, <char*> "cameraRemovalCallback") 
    cdef cameraRemovalCallback(self): 
     self._isPresent = False 

即使这是segfaults的基本来源它看起来并没有涉及当前的一个。

然后PyCallback :: execute（）在C++中，我做了一些改变。阅读有关GIL（全局解释器锁），并为其添加几个电话之后，我添加了一个检查，可能引导到解决方案：

PyCallback::PyCallback(PyObject* self, const char* methodName) 
{ 
    Py_Initialize(); 
    Py_XINCREF(self); 
    _self = self; 
    _method = PyObject_GetAttrString(self, methodName); 
} 

PyCallback::~PyCallback() 
{ 
    Py_XDECREF(_self); 
    Py_Finalize(); 
} 

void PyCallback::execute() 
{ 
    PyGILState_STATE gstate; 

    gstate = PyGILState_Ensure(); 
    try 
    { 
    if (PyCallable_Check(_method)) 
    { 
     _info("Build arguments and call method"); 
     PyObject *args = Py_BuildValue("(O)", _self); 
     PyObject *kwargs = Py_BuildValue("{}", "", NULL); 
     PyObject_Call(_method, args, kwargs); 
    } 
    else 
    { 
     _warning("The given method is not callable!"); 
    } 
    } 
    catch(...) 
    { 
    // TODO: collect and show more information about the exception 
    _error("Exception calling python"); 
    } 
    PyGILState_Release(gstate); 
} 

即使我不知道该怎么办了呼叫，重点是_PyCallable_Check_返回false。

我还测试了使用的typedef选项，Ç函数指针具有相同段错误结果来调用它。

更新 @2016年8月3日：

我继续进行建议的修改。现在将cameraRemovalCallback从cdef更改为def，并且PyCallback中的一些if报告现在可以找到该方法。在~PyCallback()中也加入了Py_XDECREF(_method)，以防在构造函数中找到它。无用的try-catch也被删除。

从参考Python's Object protocol，那DavidW提到，我检查了*Call*组合的许多：落入段错误。

我认为这个问题正在成为脏，并得到一个论坛的外观（question->答案 - >回放 - > ...）。对此我很抱歉，下次我会写，告诉段错误已经解决，而且我会尽力。

Answer 1

我不看好这是唯一的问题，但是这肯定是一个问题：

cameraRemovalCallback是一个cdef功能。这意味着该函数完全可以从C/Cython访问，但无法通过Python访问。这意味着PyObject_GetAttrString失败（因为cameraRemovalCallback不是Python属性）。

您应该使用def而不是cdef来定义cameraRemovalCallback，那就是它可以通过普通的Python机制访问。您还应该检查PyObject_GetAttrString的结果 - 如果它返回NULL那么它未能找到该属性。

因此，您最终试图将NULL作为Python函数调用。

---

其他小问题：

你应该decref在~PyCallback_method。

您应该不是请致电Py_Initialize和Py_Finalize。你似乎是从Python内部创建类，所以它不需要初始化或终结。完成一定会导致你的问题。我不认为你需要通过self作为参数PyObject_Call。 （虽然我可能是错误的）

Python C api不会引发C++异常，因此您的try{} catch(...)永远不会捕获任何东西。而是检查返回值。

你需要递减Py_BuildValue（当你完成它们时）的结果，也是PyObject_Call的结果。如果你不这样做，你正在泄漏记忆。

---

下面的完整示例适用于我（使用Python 3.5 - 我无法使用早期版本轻松测试它）。如果它适合你，那么你可能需要确定你的情况有什么不同？如果它不适合你，那么它更神秘。

pycallback.hpp：

#include <Python.h> 
#include <stdexcept> 

inline PyObject* getCallable(PyObject* o, const char* methodName) { 
    // assume o is not null 
    PyObject* callable = PyObject_GetAttrString(o,methodName); 
    if (callable == nullptr) { 
     throw std::runtime_error("Attribute does not exist"); 
    } 
    return callable; 
} 

class PyCallback { 
private: 
    PyObject* _callable; 

public: 
    PyCallback(PyObject* callable) { 
     // assume callable isn't null 
     if (!PyCallable_Check(callable)) { 
      throw std::runtime_error("object passed to PyCallback is not callable"); 
     } 
     _callable = callable; 
     Py_XINCREF(_callable); 
    } 

    PyCallback(PyObject* o, const char* methodName) : 
    PyCallback(getCallable(o,methodName)) { // needs C++11 to compile 
    } 

    // don't define copy operators 
    PyCallback(const PyCallback&) = delete; 
    PyCallback& operator=(const PyCallback&) = delete; 

    ~PyCallback() { 
     Py_XDECREF(_callable); 
    } 

    void execute() { 
     PyGILState_STATE gstate; 
     gstate = PyGILState_Ensure(); 

     PyObject* result = PyObject_CallFunctionObjArgs(_callable,nullptr); 

     Py_XDECREF(result); // allowed to be null 
     PyGILState_Release(gstate); 
    } 
}; 

camera.pyx

cdef extern from "pycallback.hpp": 
    cdef cppclass PyCallback: 
     PyCallback(object) except + 
     PyCallback(object, const char*) except + 
     void execute() 

cdef class Camera: 
    cdef PyCallback* o 
    cdef public ispresent 

    def __init__(self): 
     self.o = NULL 
     self.ispresent = True 

    def registerRemovalCallback(self): 
     self.o = new PyCallback(self,'cameraRemovalCallback') 
     #self.o = new PyCallback(self.cameraRemovalCallback) 

    def cameraRemovalCallback(self): 
     self.ispresent = False 

    def triggerCallback(self): 
     if self.o != NULL: 
      self.o.execute() 

setup.py

from distutils.core import setup 
from distutils.extension import Extension 
from Cython.Distutils import build_ext 

setup(
    ext_modules = [ 
     Extension('camera',sources=["camera.pyx"], 
      language="c++", 
      extra_compile_args=['-std=c++11'])], 
    cmdclass={'build_ext': build_ext}) 

test.py

import camera 

c = camera.Camera() 
print(c.ispresent) 
c.triggerCallback() 
print(c.ispresent) 
c.registerRemovalCallback() 
print(c.ispresent) 
c.triggerCallback() 
print(c.ispresent) 

注意 - 这有一个小问题。 Camera和它保存的回调形成一个参考循环，所以它们永远不会被释放。这会导致内存泄漏很小，但不会导致分段错误。