爬虫，可以说是程序员最基础的热手项目。

之前我也一直说阿里系的签名系统搞得太复杂，风控太高，很不利于正常的自动化工具开发，这对于需要阿里应用的客户来说，也是一个很难覆盖的成本支出不是。

当然，我做项目，尤其是爬虫项目也是有原则的，不做暴力抓取是首要的；不做与正常客户竞争的工具，尤其是需要竞争的功能，不做开发。

公开数据抓取，正常的数据分析，爬虫的存在也是非常有必要的。

闲鱼开放网页版是对闲鱼真实用户的需求一次提升。

最近一个比较大的消息就是闲鱼开放了网页版。

多少年了，对于经常使用闲鱼的用户来说，闲鱼没了网页版，数据获取真的非常的不适，尤其是需要做商品对比的时候，在手机上反复查看，真的很不方便。想象一下，一个用户，当他选择不买新的，用二手代替的时候，货比三家的需求就更加地不能缺失了。闲鱼水深，人所共知，这就越需要进行商品对比了。

在对比这方面，PC的大屏，和手机甚至是平板的小屏比起来，优势不要太明显。

对浏量和用户信息的妥协

互联网发展到最近几年，很多应用从网页版到手机端，再到只有手机端。除了是对移动互联网的支持加深，更多的是对于用户数据的详细需求。

一台手机里面的用户数据，和一台电脑里面可以映射出来的用户数据，完全可以说是指数级的数据碾压。通过一台手机注册的用户数据，以及用户上传的数据信息，可以比电脑更加容易/清晰地勾画出用户图像。

所以这些年来最可怕的一个词相信很多人都深有体会——大数据。

从大数据个性化推荐，到大数据电商杀熟。

大数据在窃取用户数据的方面，可以说是完全合法的在偷听客户的真实心声。真实而可怕。

所以，这次闲鱼开放网页版的更深层理解，个人觉得其实是互联网文化的进步，也是大厂对于流量和客户信息矛盾的一次让步。

接下来是见证技术的时刻

说了想说的话，来看下闲鱼网页版抓取数据的效果吧。

这是闲鱼PC版搜索页面的截图，以及调试页面：

可见闲鱼数据返回的链接和请求头信息

使用python实现此处功能，可以抓取网页版搜索功能相同的结果数据：