aws-kinesis-firehose

    5热度

    1回答

    增量S3文件,我做了如下管道: 任务管理器 - > SQS - >刮板工人(我的应用程序) - > AWS流水 - > S3文件 - >星火 - >红移(?)。 有些事情我试图解决/改进,我会很乐意指导: 刮板可能得到复制数据,并再次刷新他们流水,这将导致火花的DUP。我应该在开始计算之前使用Distinct函数在火花中解决这个问题吗? 我并没有删除S3处理过的文件,所以数据越来越大。这是一个很好

    0热度

    1回答

    我正在Unity3D(版本4.3.4)中开发一款游戏,我想要在Android和iOS平台上构建移动平台。我正尝试通过Facebook进行登录。我已经下载并将Facebook SDK for Unity(5.0.4)导入到我的Unity项目中。我还通过facebook sdk(FB dev网站上的注册应用程序,将应用程序ID添加到统一项目并为FB.Login编写了代码,并在Facebook SDK

    0热度

    1回答

    我是iphone应用程序开发新手。我想开发Iphone应用程序。我需要使用哪个版本,并且应该支持运行旧版本和新版本的Iphone。 哪个设备是最好的用于测试应用程序,如2G,3G,3GS预先 阿斯旺

    0热度

    1回答

    我一直在努力shell_exec PHP函数和在Linux命令2天。 要长话短说,这个工程: shell_exec('/usr/bin/at 09:32 <<EOF touch /var/www/website/hello.txt EOF' ); 这并不: shell_exec('/usr/bin/at 09:32 <<EOF wget -O - -q -t 1 "

    0热度

    1回答

    我已经整合了一个wordpress博客和cakephp站点,功能是当我登录我的主站点时,我自动登录到WordPress博客。 但是,当它得到上主CakePHP的网站改变 所以我有一个问题,在WordPress的登录过程中密码被更新在蛋糕上的PHP站点,如何更新WordPress的数据库中的密码,请帮助我解决这个问题。 在此先感谢。

    0热度

    1回答

    我一直致力于为项目保留面向对象的东西。目前,我正在使用.DLL,它将所有应用程序的类提供给充当表示层的WinForms项目。 例如,我的.DLL将返回一个SortableBindingList(Of T)在窗体中进行编码。 SortableBindingList(Of T)来自here。我们假设一个SortableBindingList(Of Product)。假设.DLL的功能Services.

    1热度

    1回答

    我想要一个包含3个小图标或位图的组合框,我不介意哪个。 我曾尝试下面的代码添加1个图像: DataGridViewComboBoxColumn statusColumn = new DataGridViewComboBoxColumn(); Icon greenIcon = new Icon("../../Resources/green_tick.ico"); Bitmap bitmapGre

    7热度

    1回答

    我将数据发布到由某些消费者处理的kinesis流。我希望发布到流中的原始数据也存储在s3中。是否有可能将kinesis流自动连接到kinesis流水线,还是需要直接发布到kinesis消费者的流水线?

    5热度

    1回答

    我将一些json数据传递给流水传输流,最终这些流将保存到Redshift表中。对于我的用例,我希望数据存储在不同的表中。 我是否为不同的表创建不同的传送流? 如果我这样创建它,S3中将会出现数据重复,因为数据必须通过S3才能使用Firehose传送流将数据推送到Redshift。

    2热度

    3回答

    时,我有一个AWS Kinesis流水流将数据放入S3具有以下配置: S3 buffer size (MB)* 2 S3 buffer interval (sec)* 60 ,一切工作正常。唯一的问题是Firehose为每个数据块创建一个s3文件。 (在我的情况下,每分钟一个文件,如截图中所示)。随着时间的推移,这是很多文件:每天1440个文件,每年525k个文件。 这是很难管理(例如,如