2016-08-19 148 views
-4

你好天才(我敢说,Minkus的?)白痴的数据仓库/数据库/数据湖泊

有点背景。我为一家目前没有数据仓库的小型非科技公司工作。所有的数据都是从一堆资源中手动提取的(比如Facebook和twitter等不同平台,客户端excel数据),然后存储在整个服务器的excel电子表格中。

我正在寻找合并这些数据的方法,并将它存储在某个地方,这将允许我访问历史记录(目前我必须搜索所有的Excel表格并手动将其放回原处,或返回Facebook和从头再来重新提取数据)

所以这里被击穿:

我有多个数据源

理想的东西,连接到API的来自像Facebook和Instagram平台手动拉数据,但如果这不存在,就不要大咧咧。只是现在寻找存储空间。

我很穷。所以没有真正的时间来学习新的编程语言等

我很高兴与一些“现成的架子”(是否存在?)

的东西,将连接于R?我有基本的SQL技能,中级R技能。

最终能够连接到商务智能解决方案(如Looker)或定制的仪表板。

有没有一个企业可以为我设置这样的事情,而不必聘请顾问?雪花是其中之一吗?

真诚的道歉(真的,我的意思是)为非常基本和杂乱的问题。我知道每个人都会阅读这篇文章,因此我会更加高级,所以我感谢你们所有人都在嘲笑我! (请保持技术术语最小化,#idiotproof)。

+1

从[help/on-topic]:*问题要求我们推荐或找到一本书,工具,软件库,教程或其他非本地资源,因为它们倾向于吸引自以为是的答案和垃圾邮件。* –

+0

亚马逊Azure提供的云解决方案可能会让您的速度非常快。 –

回答

1

如果您现在无法购买或开发数据仓库/商业智能系统,那么我会考虑一下那里的一些自助服务选项。我知道该地区有很多优秀的供应商。但是,我的背景是在Microsoft In-Premise & Cloud BI解决方案中,所以我建议您查看Microsoft PowerBI或Microsoft PowerQuery/PowerView/PowerPivot Excel插件。这两个选项都具有一些提取,转换和加载功能以及数据建模和可视化功能。在较新的版本中,他们试图将各种数据源功能整合到一起,轻松将数据拉入工作区。

我曾经在POC项目中使用过这两种工具,而且一旦商业智能项目在预算中获得了知识并通过辅助数据仓库设计工具生成维度模型。

0

如果你确实有一些编程技巧,我会建议你检查python。这非常简单,但管理数据传输最终将成为一个小脚本。在短短的几天内,您应该可以理解。否则,如果你有资源,我会建议去找公司的解决方案,因为它会节省你的时间。