混合音频使用的OpenGL

Question

我想用OpenGL的混合两个（或更多）16位音频流，我需要一点帮助

基本上就是我想要做的是把音频数据转换成纹理，我提请一个帧缓冲区对象，然后回读。这不是一个问题，但是提供正确结果的数据的方式会有点问题。

我基本上有两个问题。

1. 为了通过绘图混合数据我需要使用混合（alpha = 0.5），但是结果不应该有任何alpha通道。所以如果我渲染到例如格式为RGB的帧缓冲区将会像我期望的那样继续工作，并且生成的alpha将不会写入fbo？ （我想避免读回FBO每个渲染通道）

质地| SR | SG |胆红|

framebuffer（before）| dR | dG | dB | （后） | dR * 0.5 + sR * 0.5 | dG * 0.5 + sG * 0.5 | dB * 0.5 + sB * 0.5 |

1. 音频样本被标记为16位整数值。这种方式可以做签名计算吗？或者我需要首先将值转换为无符号的CPU，绘制它们，然后使它们再次在CPU上签名？

编辑：

我有点不清楚。我的硬件仅限于OpenGL 3.3硬件。我宁愿不使用CUDA或OpenCL，因为我习惯使用OpenGL来处理其他内容。

每个音频采样将以单独遍历的方式呈现，这意味着它必须与已经渲染到帧缓冲区的内容“混合”。问题是如何将像素着色器的输出写入帧缓冲区（据我所知，此混合无法通过可编程着色器访问，而且必须使用glBlendFunc）。

EDIT2：

每个音频样本将在不同的道次来呈现，因此，只有一个音频样本将在着色器的时间，这意味着它们需要在FBO被累积可用。

foreach(var audio_sample in audio_samples) 
    draw(audio_sample); 

和不

for(int n = 0; n < audio_samples.size(); ++n) 
{ 
     glActiveTexture(GL_TEXTURE0 + n); 
     glBindTexture(audio_sample); 
} 
draw_everything(); 

Answer 1

1. 即使目标缓冲区没有alpha，你也应该能够进行混合。也就是说，渲染到非幂次方（rgb16 = 6bytes/pixel）通常会导致性能损失。

2. 签名不是您的典型渲染目标格式，但它确实存在于OpenGL 4.0规范中（表3.12，称为RGB16_SNORM或RGB16I，具体取决于您是否需要规范化表示）。

作为一个方面说明，你也有glBlendFunc(GL_CONSTANT_ALPHA,GL_ONE_MINUS_CONSTANT_ALPHA)甚至没有指定一个alpha每像素。尽管如此，这可能不适用于所有的GL实现。

Answer 2

坦率地说，你为什么不只是使用该可编程像素着色器？

您是否必须使用OpenGL 1 Fixed Functionality Pipeline？

我只想用一个可编程着色器来处理带符号的16位灰度线性纹理。

编辑：

foreach(var audio_sample in audio_samples) 
blend FBO1 + audio_sample => FBO2 
swap FBO2, FBO1 

它应该是一样快，如果不是更快（感谢流管道）。

Answer 3

我同意QDot。但是，您能否告诉我们您正面临的硬件限制？如果你有合理的现代硬件，我甚至可以建议去CUDA或OpenCL路线，而不是通过OpenGL。