大家好我是痴海，有个运营快两年的 Python 垂直公众号，最初是职业做爬虫的，现在在增长黑盒做着增长工程师的职位。

最近圈子里因为好运哥的一篇文章收入 70W+，大家纷纷都热议起来，虽然到今天文章已经被封了。作为前职业爬虫师，当时我第一反应就是去看看该篇有多少阅读数，算算其中的付费率有多少。

于是就用抓包软件进行了查看，在微信文章的数据中 read_num 这个字段就代表这阅读数，当时我抓取到阅读数是 91588，付费人数是 7835 人，即付费率在 8%。这是一个非常惊人的付费率了。要知道公众号上的投放的广告平均付费水平在 1% 左右。

其中从爬虫端看待一个产品，不管是挖掘竞品的数据，还是对商业模式的洞察都是有非常大的帮助。并且借助一些工具，你是可以零代码挖掘出产品的数据的。接下来我就详细的讲解如何利用工具挖掘产品背后真实的数据。

1 抓包的底层原理

互联网造就了一个时代，而在互联网上有很多产品形态，比如小程序、APP、网页等。而这些产品本质来说就是一行行的代码创造出来的。需要让别人可以稳定使用你的产品，就一定需要有台服务器。

而产品前端界面显示的数据，都是由一些网络传输协议进行传递的，现在互联网使用最多的协议是 http/https 协议。并且使用最多的数据格式就是 json 的格式，它是一种非常轻量级的数据交换格式。

现在你知道了这底层的逻辑之后，我们就可以通过一些抓包工具，利用 http/https 协议传输的数据进行抓取。我们就可以查看到服务器传输过来的原始数据。比如说公众号的文章，大家在点击文章时，微信会向服务器发送一个请求，服务器收到请求之后就会返回相应的数据包括：阅读量、评论数、在看数、文本数据等等。

接下来我就介绍四款最常用的抓包工具，覆盖了现在主流的平台：

• Windows 平台： Fildder

• Mac 平台：Charles

• iOS 系统： Thor

• Android 系统： HttpCanary

这些抓包软件原理都大致相同，简单的说抓包软件就是一个代理软件，代理相当于一个中间人。客户端发送的所有请求需要先经过这些代理，然后再由代理发送给服务器。服务器对请求的响应由代理拦截，再由代理返给客户端。

2 Windows 使用 Fildder

Fiddler 是一个 http/https 调试代理工具，以代理服务器的方式，监听系统网络数据的流动，这样我们就可以进行产品数据的抓包。Fiddler 抓包工具其实是 Windows 和 Mac 上都可以使用，但因为 Mac 上有更好用的 Charles，所以一般不会再 Mac 上使用。

Fiddler 的界面是长这样的：

Fiddler 工具介绍：https://growthhackers.com.cn/product/fiddler/

下载地址：https://www.telerik.com/fiddler

Fiddler 抓包配置教程：https://www.jianshu.com/p/99b6b4cd273c

3 Mac 使用 Charles

Charles 也是 PC 端最常使用的抓包工具，原本是做移动开发时，方便开发人员进行调试与服务器端的网络通讯协议。后来做爬虫的发现这工具，用来拦截网络请求也非常好用。同样这款工具在 Windows 和 Mac 上都可以使用，只是在 Mac 上使用的体验更好一些。这款工具是付费软件，大家可以免费试用 30 天。

它和 Fiddler 最不一样的地方是请求列表展示的页面，会按层次一级级的展示，结构非常的清晰。

Charles 工具介绍：https://growthhackers.com.cn/product/charles/

界面详情介绍：https://www.cnblogs.com/meitian/p/7327088.html

下载链接：https://www.charlesproxy.com/

详细使用教程：https://juejin.im/post/5b8350b96fb9a019d9246c4c

上面介绍的两款抓包工具，都是在电脑端才能使用的抓包工具，但现在已经是移动互联网时代。虽然这两款工具也可以进行移动端的数据抓包，但配置上相对来说比较繁琐。接下来介绍两款在 iOS 和 Android 使用的抓包软件，帮助大家轻松抓取移动端产品的数据。

4 iOS 使用 Thor

Thor 俗称的锤子，是 iOS 上 http/https 抓包调试工具，在众多抓包调试工具中是功能方面相对完善和稳定的。并且上手简单：打开软件、点击全局抓包按钮，即可进行抓包查看相应数据。它是付费的工具，目前的价格是 68 元。iOS用户这款工具强烈推荐非常好用，已经是我日常必备工具了。

Thor 工具介绍：https://growthhackers.com.cn/product/thor/

Thor 下载：苹果 App Store 搜索「Thor」即可下载

详细使用教程：https://www.jianshu.com/p/bb8231f48a07

5 Android 使用 HttpCanary

在 Android 上大家可以使用 HttpCanary 这款开源的抓包工具，这个工具在谷歌应用商场上有4.3 的评分，功能也非常全面。目前是安卓上比较稳定且好用的抓包工具。

HttpCanary 详情介绍：https://growthhackers.com.cn/product/httpcanary/

下载链接：https://github.com/MegatronKing/HttpCanary/wiki/Downloads

教程：https://mp.weixin.qq.com/s/Sz7ZkAZdEkP966Eq-3TA_A

以上四款就是最常见得抓包工具，四款工具的使用都差不多，跟着对应的教程，你使用一次就知道怎么用了。接下来我们就以 Charles 工具为例，给大家讲讲在实际的环境中通过抓包软件，抓取到的数据我们都可以怎么样使用。

6 得物真实 GMV 是多少？

最近毒app改名成得物，平台的意图非常明显，开始要出圈，往全品类商品交易发展。在本次的案例中增长黑盒使用 Charles 对「得物」小程序 进行抓包。我们点击一款叫「Air Jordan 13 Retro」的球鞋，通过抓包软件我们不仅看到产品价格，还看到了产品销售。这两个数据分别是用字段：price 和 soldNum 显示的。只要我们抓取球鞋的数据样本足够多，我们就可以算出整个平台的GMV了。

在我们看数据的时候这里有个小技巧，这些数据的字段一般是会按一定规则去取名的。比如说价格它就是 price，销售 soldNum，就是英文 sold + num 的组合。所以我们在看数据的时候往往能根据它的取名规则，去猜它是什么含义。

7基于有赞「完美日记」真实的销量有多少？

有赞做为公众号生态被使用最多的电商工具，已经有无数的品牌基于有赞搭建起自己的电商系统。而最近观察到「完美日记」也是基于有赞，搭建起了自己的电商，在里面出售各种彩妆产品。增长黑盒随机点开一个商品「收藏家单色眼影」。

虽然页面上没有显示多少销量，但通过抓包我们可以看到有个soldNum 字段，它就是代表着销量。在我们抓取的到数据中，这款颜色的销量是 30。并且大家还可以看到其他颜色的销量，通过销售数据，就可以知道完美日记哪个颜色的眼影是卖的最好的了。

以上就是我今天给大家带来的一些产品数据挖掘教程，如果对商业数据感兴趣可以加我微信号一起