将非严格的JSON Amazon SNAP元数据转换为Pandas DataFrame

我试图将this Amazon sample Snap grocery JSON data转换为IBM Bluemix中的Pandas数据框（使用Python 2.x），然后使用Apache Spark对其进行分析。将非严格的JSON Amazon SNAP元数据转换为Pandas DataFrame

我已解压JSON文件并将其上传到Apache Spark容器。

这是我的容器连接：

# In[ ]: 

credentials_1 = { 
    'auth_uri':'', 
    'global_account_auth_uri':'', 
    'username':'myUname', 
    'password':"myPw", 
    'auth_url':'https://identity.open.softlayer.com', 
    'project':'object_storage_988dfce6_5b93_48fc_9575_198bbed3abfc', 
    'project_id':'2c05de8a36d74d32bdbe0eeec7e5a372', 
    'region':'dallas', 
    'user_id':'4976489bab7d489f8d2eba681adacb78', 
    'domain_id':'8b6bc3e989d644858d7b74f24119447a', 
    'domain_name':'1079761', 
    'filename':'meta_Grocery_and_Gourmet_Food.json', 
    'container':'grocery', 
    'tenantId':'s31d-8e24c13d9c36f4-43b43b7b993d' 
}

我然后用于导入从容器数据到StringIO的

# In[ ]: 

import requests, StringIO, pandas as pd, json, re 


    # In[ ]: 

    def get_file_content(credentials): 
     """For given credentials, this functions returns a StringIO object containing the file content.""" 

     url1 = ''.join([credentials['auth_url'], '/v3/auth/tokens']) 
     data = {'auth': {'identity': {'methods': ['password'], 
       'password': {'user': {'name': credentials['username'],'domain': {'id': credentials['domain_id']}, 
       'password': credentials['password']}}}}} 
     headers1 = {'Content-Type': 'application/json'} 
     resp1 = requests.post(url=url1, data=json.dumps(data), headers=headers1) 
     resp1_body = resp1.json() 
     for e1 in resp1_body['token']['catalog']: 
      if(e1['type']=='object-store'): 
       for e2 in e1['endpoints']: 
        if(e2['interface']=='public'and e2['region']==credentials['region']): 
         url2 = ''.join([e2['url'],'/', credentials['container'], '/', credentials['filename']]) 
     s_subject_token = resp1.headers['x-subject-token'] 
     headers2 = {'X-Auth-Token': s_subject_token, 'accept': 'application/json'} 
     resp2 = requests.get(url=url2, headers=headers2) 
     return StringIO.StringIO(resp2.content)

的Apache的火花的样品然后我通过附加变换后的字符串的内容到一个严格JSON图案[和]在开始和结束，并用逗号分隔数据。

print('----------------------\n') 

import json 

myDf=[]; 

def parse(data): 
    for l in data: 
     yield json.dumps(eval(l)) 

def getDF(data): 
    st='[' 
    i = 0 
    df =[] 
    for d in parse(data): 
     if i<100: 
      i += 1 
      #print(str(d)) 
      st=st+str(d)+',' 
      #print('----------------\n') 
    st=st[:-1] 
    st=st+']' 
    #js=json.loads(st) 
    #print(json.dumps(js)) 
    return pd.read_json(st) 

content_string = get_file_content(credentials_1) 

df = getDF(content_string) 
df.head()

我得到了一个完美的结果。 Output of the code

的问题是，当我删除我< 100的条件，它只是从来没有完成，而内核依然忙了一个多小时。

是否有任何其他优雅的方式将数据转换为数据框？

此外，ijson不适用于Bluemix Notebook。

来源

2016-08-18 Rupam Das

让我分两部分回答这个问题： -

您可以使用以下命令，然后用户import ijson进一步使用它按您的使用您的bluemix火花服务安装ijson。

!pip install --user ijson
您可以使用sqlContext.jsonFile来读取对象存储的JSON而不是绕来绕去定义你的架构。这甚至会为你推断出架构，然后你可以运行一些spark-sql查询来做任何你想要的数据帧。

df = sqlContext.jsonFile("swift://" + objectStorageCreds['container'] + "." + objectStorageCreds['name'] + "/" + objectStorageCreds['filename'])

这里是完成notebook的链接。

如果你有熊猫据帧的工作，你可以简单地将其转换为

df.toPandas().head()

但是，这将导致以获得在驱动器节点一切（慎用）。

谢谢， Charles。

来源

2016-08-18 22:56:43

太棒了。非常感谢。只是简单的改变我的情况，我不得不改变URL模式。 df = sqlContext.read.json（“swift：//”+ objectStorageCreds ['container'] +“.spark”+“/”+ objectStorageCreds ['filename']）。 “.spark”似乎需要与Apache Spark一起工作。因此，objectStorageCreds ['name']可以设置为'spark'。再次感谢。奇迹般有效。 –

将非严格的JSON Amazon SNAP元数据转换为Pandas DataFrame

回答

相关问题