烂记性不如好笔头

       最近在做一些web页面上的逆向学习记录，这篇文章适合需要学习使用浏览器的Breakpoints断点调试完成逆向工作的朋友。
       本文只有一个重点：必须掌握的-最基本的fetch breakpoints姿势。

     今天用到了一个很强大的工具——cmder
     简洁美观的界面，便捷的操作，我现在已经看不下去windows的原生cmd了。

       app逆向需要脱壳、反编译等操作从而获取源码。同理，微信小程序的也需要经过一系列处理才能获取源码，再通过源码寻找加密逻辑，利用python复现该接口的加密、防篡改方式，即可完成逆向。
       本文主要分为两个部分：1、如何找到获取小程序源码    2、寻找加密函数以及复现过程

       在写代码的时候，我发现以下两种代码编写方式，看起来都是多线程，但是其运行时间，和线程对象却有差别，这种情况我以前忽视了，现记录一下。

       在《多线程&多进程(上)》中，记录了python中的threading模块常用的类的使用方法，对比了Lock/RLock和condition版本的生产者与消费者的问题，但是python中并不支持真正的支持多线程，不能充分的利用多核cpu的资源，大部分情况下使用的是多进程。在下半部分中，将记录多进程的使用。

       大学的时候面试，时常被问到线程和进程的区别。时至今日，碰到爬虫中正好也要运用，再拿出来梳理一波。

首先明确一些概念：

• 计算机的核心是CPU，承担了所有的计算任务。一个CPU，在一个时间切片里只能运行一个程序。
• 一个cpu一次只能执行一个进程，其它进程处于非运行状态。

       在进行app、小程序爬虫的时候，由于app没有浏览器这种可以直观看到后台请求的工具，所以要想获取该请求，往往是通过一些抓包软件抓取数据。
       Charles就是一个网络抓包工具，相比Fiddler，其功能更加强大，并且跨平台的支持更好。所以移动端的抓包工具主要使用Charles。它支持SSL握手，可以自动根据根证书生成一个签名的服务器证书，并且它的官网为我们提供了一个根证书。
       现在https协议运用得越来越广泛，如果一个app应用了https，那Charles所抓到的包只能显示乱码，所以需要在Charles上配置相关SSL证书。

       md5在爬虫队列去重、接口加密方面都能用到，是比较基础和常见的摘要算法，本文记录:
1、基本概念   2、hashlib模块的使用   3、hmac模块的使用

       使用scrapy的时候，有时候不想每次都手动敲命令行，就可以使用crontab配置scrapy定时任务在后台运行，这样不用人工干预，每个周期都可以定时自动执行啦。本文主要介绍两方面：
  1、crontab的用法  2、使用crontab配置scrapy定时任务。