使用GStreamer（或其他库）检测麦克风吹气

Question

我可以使用GStreamer（或其他Linux兼容的声音库）检测麦克风吹气吗？

我可以了解声音的一些信息这样做：

import gtk, gst 

def playerbinMessage(bus, message): 
    if message.type == gst.MESSAGE_ELEMENT: 
     struct = message.structure 

     if struct.get_name() == 'level': 
      # printing peak, decay, rms 
      print struct['peak'][0], struct['decay'][0], struct['rms'][0] 

pipeline = gst.parse_launch('pulsesrc ! level ! filesink location=/dev/null') 

bus = pipeline.get_bus() 
bus.add_signal_watch() 
bus.connect('message', playerbinMessage) 

pipeline.set_state(gst.STATE_PLAYING) 

gtk.main() 

我用这个来检测鼓掌，但我不知道我是否可以使用这些信息来检测不吹我的电脑迷吹说。另外，我不知道是否有另一种方法可以用GStreamer或其他Linux兼容的声音库来分析声音。

Answer 1

你需要看比音频层面更多的区别吹和言。首先，考虑到大多数语音由高于80Hz左右的音频组成，而吹在麦克风上会产生大量低频隆隆声。所以：如果你想坚持使用gstreamer，也许可以尝试使用“audiocheblimit”过滤器在测量声级之前低通声音。 （喜欢的东西audiocheblimit mode=low-pass cutoff=40 poles=4）

就个人而言，我的做法会更喜欢：

1. 记录原始音频的东西中的python-alsaaudio
   
2. 计算声音块的傅立叶变换使用numpy的
   
像
3. 总结低频（20-40Hz，也许）的幅度，如果这个值足够大，则触发。

如果这没有奏效，那么我会寻找更聪明的检测算法。这种方法（alsa + numpy）非常灵活，但比gstreamer方法复杂一点。

编辑：我只注意到gstreamer还有一个“频谱”元素，它将返回傅里叶变换。

Answer 2

答案和操作码（sample pipe）

#!/usr/bin/env python 

import pygtk 
pygtk.require('2.0') 
import gtk, gst, time 

class HelloWorld: 

    def delete_event(self, widget, event, data=None): 
     print "delete event occurred" 
     return False 

    def destroy(self, widget, data=None): 
     print "destroy signal occurred" 
     gtk.main_quit() 

    def __init__(self): 
     self.window = gtk.Window(gtk.WINDOW_TOPLEVEL) 
     self.window.connect("delete_event", self.delete_event) 
     self.window.connect("destroy", self.destroy) 
     self.window.set_border_width(2) 
     #self.window.set_size_request(600, 483) 

     """ Play """ 
     self.vbox = gtk.VBox(False, 2) 
     self.vbox.set_border_width(0) 

     self.hbox = gtk.HBox() 
     self.hlpass = gtk.Entry() 
     self.hlpass.set_text("low-pass") 
     self.hbox.pack_start(gtk.Label("High/Low-pass: "), False, False, 0) 
     self.hbox.pack_start(self.hlpass, False, False, 0) 
     self.vbox.add(self.hbox) 

     self.hbox = gtk.HBox() 
     self.cutoff = gtk.Entry() 
     self.cutoff.set_text("40") 
     self.hbox.pack_start(gtk.Label("Cutoff: "), False, False, 0) 
     self.hbox.pack_start(self.cutoff, False, False, 0) 
     self.vbox.add(self.hbox) 

     self.hbox = gtk.HBox() 
     self.poles = gtk.Entry() 
     self.poles.set_text("4") 
     self.hbox.pack_start(gtk.Label("Poles: "), False, False, 0) 
     self.hbox.pack_start(self.poles, False, False, 0) 
     self.vbox.add(self.hbox) 

     self.hbox = gtk.HBox() 
     self.button = gtk.Button("High-Pass") 
     self.button.connect("clicked", self.change, None) 
     self.hbox.pack_start(self.button, False, False, 0) 
     self.vbox.add(self.hbox) 

     self.window.add(self.vbox) 
     self.window.show_all() 

    def main(self): 
     self.gst() 
     gtk.main() 

    def gst(self): 
     test = """ 
     alsasrc device=hw:0 ! audioconvert ! audioresample ! audiocheblimit mode=low-pass cutoff=40 poles=4 name=tuneit ! level ! autoaudiosink 
     """ 
     self.pipeline = gst.parse_launch(test) 
     self.bus = self.pipeline.get_bus() 
     self.bus.add_signal_watch() 
     self.bus.connect('message', self.playerbinMessage) 
     self.pipeline.set_state(gst.STATE_PLAYING) 

    def playerbinMessage(self,bus, message): 
    if message.type == gst.MESSAGE_ELEMENT: 
     struct = message.structure 
     if struct.get_name() == 'level': 
     print struct['peak'][0], struct['decay'][0], struct['rms'][0] 
     #time.sleep(1) 

    def change(self, widget, data=None): 
    data = [self.hlpass.get_text(), self.cutoff.get_text(), self.poles.get_text()] 
    print data[0], data[1], data[2] 
    self.audiocheblimit = self.pipeline.get_by_name('tuneit') 
    self.audiocheblimit.props.mode = data[0] 
    self.audiocheblimit.props.cutoff = int(data[1]) 
    self.audiocheblimit.props.poles = int (data[2]) 

if __name__ == "__main__": 
    hello = HelloWorld() 
    hello.main() 

输出低通的只是一个组合：

-20.9227157774 -20.9227157774 -20.953279177 
-20.9366239523 -20.9227157774 -20.9591815321 
-20.9290995367 -20.9227157774 -20.9601319723 

输出高通：

-51.2328030138 -42.8335117509 -62.2730163502 
-51.3932079772 -43.3559607159 -62.2080540769 
-52.1412276733 -43.8784096809 -62.9151309943 

编辑：

high-pass = speech and taking all audio 
low-pass = some audio like when you are talking near the microphone 

Answer 3

CMU Sphinx项目http://cmusphinx.sourceforge.net/是一个语音识别工具包，它可以使用gstreamer提供麦克风流。你可以看看。