比价格的网站,比价网

发布时间：2022-04-08 23:32:55

导读：来源：你可以叫我蔡大哥作者：不久前，蔬菜市场上出现了一个奇怪的场景：蔬菜比肉贵！以北京为例，猪肉价格基本上从年初的25元/公斤下降到现在的10元/公斤。猪肉价格趋势，而一些蔬菜，如油和小麦类蔬菜，可以从年初的2.5元/公斤增加到现在的4.5元/公斤

比价格的网站,比价网

来源：可以叫我才哥
作者：道才

前段时间，菜市场出现了一个奇特的现场：

菜比肉贵！

以北京为例，猪肉的价格基本上从年初的

25块/斤

逐步下降到现在的

10块/斤

。

猪肉价格走势

而一些蔬菜比如油麦菜从年初的

2.5元/斤到现在的4.5元/斤

，高的时候能有8元/斤；再比如菠菜从年初的

1.7元/斤到现在的4元/斤

，高的时候也能到7-8元/斤。

油麦菜价格走势

广大网友直呼：

以前没钱吃肉，现在没钱吃菜！

我们知道前年

50块一斤猪肉

(也是离谱)，现在可以

买5斤

，于是就有了下面这张对比图：

那么，蔬菜价格目前到底是什么情况呢？全年一般又是什么样的走势呢？今天，我们就用Python采集一下北京新发地菜市场的价格行情来一起了解下！

网页分析

目标网站：北京新发地

网址信息：http://www.xinfadi.com.cn/priceDetail.html

我们通过翻页（下一页）查看后续数据，但是发现地址栏url没变，所以是动态加载的，那么老规矩：

F12开发者模式—>Network—>XHR，

然后翻页可以找到数据请求信息如下：

最终，我们确认请求接口地址及请求方式与信息如下：

请求类型：
post
url =
r'http://www.xinfadi.com.cn/getPriceData.html'

# 请求参数如下，其中page为页码
FormData={
'limit'
:
20
,
'current'
: page,
'pubDateStartTime'
:
'2021/01/01'
,
'pubDateEndTime'
:
'2021/10/30'
,
'prodPcatid'
:
''
,
'prodCatid'
:
''
,
'prodName'
:
''
,}

确定以上信息后，我们就可以简单地写代码进行数据采集了！

数据采集

由于请求到的数据是json格式，比较好处理，我们直接上代码（完整代码）。

import requestsimport pandas as pdfrom tqdm import tqdmheaders = { "Accept-Encoding": "Gzip", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36", }dfList = []url = r'http://www.xinfadi.com.cn/getPriceData.html'for page in tqdm(range(1,5373)): FormData={ 'limit': 20, 'current': page, 'pubDateStartTime': '2021/01/01', 'pubDateEndTime': '2021/10/30', 'prodPcatid':'', 'prodCatid':'', 'prodName':'', } r = requests.post(url, data=FormData, headers=headers) data = r.json() dataList = data['list'] df = pd.DataFrame(dataList) dfList.append(df) df = pd.concat(dfList)df.to_excel(r'菜品历史价格行情.xlsx',index=None)