2014-12-07 61 views
0

我已经创造了一些爬虫与kimonolabs.com和parsehub.comParse.com如何从网络以JSON

我想基于数据的抓取工具来创建iPhone应用程序收集从一些网站上的数据同步数据获取并同步抓取工具通过他们的api提供的数据。

因此,如果抓取工具从网站上找到任何新数据,我希望在这些数据更改中同步。

我试过kimonolabs.com和parsehub.com从一些网站上抓取一些数据。两个爬虫都差不多。

json文件可能至少为10mb,所以我认为最好是尝试使用其他服务(如parse.com)同步所有数据并查询特定数据以最大限度地减少iPhone应用程序的带宽。

这是JSON API使用一个数据样本来自kimonolabs: https://www.kimonolabs.com/api/5khb4j90?apikey=8OBDXxQPcoAcW9AWqHzAzh1J9rlWHwIM&kimbypage=0

我想用parse.com作为后端,以及尝试导入该JSON数据parse.com提供了一些托管服务以及。

将数据导入到parse.com之后,我需要分析这些数据并将这些数据中的一部分(特定查询数据)提供给基于来自搜寻器的数据创建的iPhone应用程序。

如何在parse.com中创建后台作业或云代码以从json api导入这些数据?我是新来parse.com

我尝试这样做:

curl -X POST \ 
    -H "X-Parse-Application-Id: **APPID**" \ 
    -H "X-Parse-REST-API-Key: **RESTAPIKEY**" \ 
    -H "Content-Type: application/json" \ 
    -d 'https://www.kimonolabs.com/api/5khb4j90?apikey=8OBDXxQPcoAcW9AWqHzAzh1J9rlWHwIM&kimbypage=0' \ 
    https://api.parse.com/1/classes/CrawledData 

,但它不工作,我想用类似像上面的代码创建的东西后台作业来的。

回答

1

在解析云代码..

main.js

Parse.Cloud.define("crawledData", function(request, response) { 
    // this is the passed parameter (https://www.kimonolabs.com/api/...) 
    var url = request.params.value; 
    // do something with url 
}); 

然后你就可以发送curl要求像云代码如下

curl -X POST \ 
    -H "X-Parse-Application-Id: **APPID**" \ 
    -H "X-Parse-REST-API-Key: **RESTAPIKEY**" \ 
    -H "Content-Type: application/json" \ 
    -d '{ "value": "https://www.kimonolabs.com/api/..." }' \ 
    https://api.parse.com/1/function/crawledData 

更多阅读:https://parse.com/docs/cloud_code_guide

Mo重新阅读Cloud Code Background作业:https://parse.com/docs/cloud_code_guide#jobs