fiddler抓包日志[json解析,pandas处理]

实习公司要求抓一家酒店APP数据:
因为自己本身是做机器学习数据挖掘并不太懂前端,抓包也是刚学,思路可能有点菜
具体思路:
1,fiddler与手机联通之后【具体步骤网上很多在此不做介绍】,进入fiddler中的fiddlerScript修改OnBeforeResponse对特定的网站进行抓取包–>如下图
在这里插入图片描述
了解javascript应该可以看懂,如果小白:百度【fiddler数据包自动保存办法】
2,将保存到本地的包进行解析(python)如下图
在这里插入图片描述在这里插入图片描述
如果你想传到数据库可以单独再写命令,我打算全部整合之后,pandas里面的to_csv 导入Excel,毕竟目前数据量不算太大

注意点:保存文件的时候不要用utf8编码,不然解析出来会出现乱码情况,一般是ANSI即可,当然这可能只针对我的代码而言,另外json解析的时候总是会出错,我请教了一个大佬【用try帮我解决如上图代码,虽然我还是一脸懵逼…】
在这里插入图片描述
目前为止,就剩下pandas数据处理最后一关,上图数据仅仅是测试解析是否ok,详细数据还要整合
在这里还是要说一下python数据处理能看官方文档就不要去买工具书(非常捞),文档里都有图例,不要被英文吓倒
推荐一个爬虫课程有一说一,课程不怎么样,但助教大佬非常厉害课程地址

我也不知道华为牛不牛b,反正特朗普司马,出国深造七老八十回来享福的司马


更多精彩内容