data-harvest

1热度

1回答

我正在使用pycsw扩展来生成CSW文件。我从一个CKAN例如收集到的数据[1]，到另一个[2]，和我现在正在运行pycsw“贴纸load命令： paster ckan-pycsw load -p /etc/ckan/default/pycsw.cfg -u [CKAN INSTANCE] 我得到的错误： Could not pass xml doc from [ID], Error: Sta

0热度

1回答

嵌套函数用于检索R中的多个URL（带身份验证）中的数据

我的代码如下设计用于通过API端点验证数据（及其元数据），并将所有元数据返回到数据框。我想要创建一个嵌套的函数，为另一个具有相同身份验证的API端点重复这个相同的过程，并将第二个端点的结果附加到第一个端点，并将其结果添加到一个数据框中（它们都具有相同的数据结构和标头）。我不知道在这个过程中，我应该把link_to_endpoint2，怎么办嵌套，结果追加等 get_data <- function

0热度

1回答

使用DCAT扩展的收割机得到困难

我们一直在使用ckanext-dcat从远程JSON源收获，有时一些收获工作没有完成，必须从该源删除所有数据集，这不是很方便但是一切都恢复正常，我不知道是否有办法删除一份工作。但现在我得到这个在收集消费者日志： Traceback (most recent call last): File "/usr/lib/ckan/default/bin/paster", line 9, in <

0热度

3回答

抓取新闻文章

有谁知道是否有标准/ API来抓取来自大多数最大新闻来源的新闻文章。我正在使用rss为它们编制索引，但我想用更多的数据对它们进行分类，而不仅仅是它们的标题。

0热度

1回答

数据收集在R：获取嵌套的列表，选择不公开，进行编辑，再窝回

下面的代码收获从网站的数据。我检索列表列表，我想列出其中一个列表，然后编辑它，然后将其重新嵌入到数据中，然后将其嵌入到数据收到的表单中。下面是我的代码，它没有重新嵌套。 library(jsonlite) library(plyr) library(ckanr) library(purrr) library(dplyr) ckanr_setup(url = "https://energ

0热度

2回答

使用PHP/JavaScript链接获取有关网站访问者的信息

有人试图欺骗我，他们假装成为我的亲密朋友之一，以羞辱我们两个人。这个人创建了一个虚假的电子邮件帐户，冒充这个人，并试图从我身上获取个人信息。我确信我的朋友，这不是他，现在我们试图找出它是谁。我想给他们发送一个链接到某种PHP或JS页面，至少收集关于他们的客户端（浏览器，操作系统，可能是ISP位置？）的一些信息，然后将它们转发给一个实际的网站（如YouTube视频或其他）。对PHP有非常基本的了

0热度

1回答

CKAN收割机“nav_named_link”错误

在CKAN，当我尝试创建一个新的收获来源我得到这个错误： Error - <class 'jinja2.exceptions.UndefinedError'>: 'ckan.lib.helpers.HelperAttributeDict object' has no attribute 'nav_named_link URL: https://127.0.0.1:5000/harvest/new

1热度

3回答

使用python自动按下“提交”按钮

我使用的巴士公司运行一个糟糕的网站（Hebrew,English），它使一个简单的“从今天的A到B时间表”查询恶梦。我怀疑他们正试图鼓励使用昂贵的SMS查询系统。我试图从网站收获整个时间表，通过提交查询每个可能的点到每个可能的点，这将总计约10K查询。查询结果出现在一个弹出窗口中。我对网络编程颇为陌生，但熟悉python的基本方面。什么是最优雅的方式来解析页面，从下拉菜单中选择一个值，并按下“

-1热度

1回答

学习数据采集

我想建立一个网站，将收获来自数据： * *其它网站 Unfortenatly朋友的Facebook状态，我不知道怎样去采集数据。有人可以推荐一本书\教程吗？如何接近这个领域？

0热度

2回答

从单个单元格查找多个值

我有一个数据集，其中很多不同的类别和数据被塞进一个单元格。例如，我有个人的名字和百分比一个单元： Jess 15%, Frank 20%, Allan 50%, Steve 15% 我想找到可以查找并收获一个人的名称和相关百分比功能那个人来自那个单人牢房。