逆向记录-某货币交易平台sign逆向(断点调试)
最近在做一些web页面上的逆向学习记录,这篇文章适合需要学习使用浏览器的Breakpoints断点调试完成逆向工作的朋友。
本文只有一个重点:必须掌握的-最基本的fetch breakpoints姿势。
cmder下使用virtualenv和condaenv
逆向记录-某共享充电宝微信小程序sign参数破解
app逆向需要脱壳、反编译等操作从而获取源码。同理,微信小程序的也需要经过一系列处理才能获取源码,再通过源码寻找加密逻辑,利用python复现该接口的加密、防篡改方式,即可完成逆向。
本文主要分为两个部分:1、如何找到获取小程序源码 2、寻找加密函数以及复现过程
多线程&多进程(补充)
在写代码的时候,我发现以下两种代码编写方式,看起来都是多线程,但是其运行时间,和线程对象却有差别,这种情况我以前忽视了,现记录一下。
多线程&多进程(下)
在《多线程&多进程(上)》中,记录了python中的threading模块常用的类的使用方法,对比了Lock/RLock和condition版本的生产者与消费者的问题,但是python中并不支持真正的支持多线程,不能充分的利用多核cpu的资源,大部分情况下使用的是多进程。在下半部分中,将记录多进程的使用。
多线程&多进程(上)
大学的时候面试,时常被问到线程和进程的区别。时至今日,碰到爬虫中正好也要运用,再拿出来梳理一波。
首先明确一些概念:
- 计算机的核心是CPU,承担了所有的计算任务。一个CPU,在一个时间切片里只能运行一个程序。
- 一个cpu一次只能执行一个进程,其它进程处于非运行状态。
使用Charles抓包安卓模拟器(MuMu)
在进行app、小程序爬虫的时候,由于app没有浏览器这种可以直观看到后台请求的工具,所以要想获取该请求,往往是通过一些抓包软件抓取数据。
Charles就是一个网络抓包工具,相比Fiddler,其功能更加强大,并且跨平台的支持更好。所以移动端的抓包工具主要使用Charles。它支持SSL握手,可以自动根据根证书生成一个签名的服务器证书,并且它的官网为我们提供了一个根证书。
现在https协议运用得越来越广泛,如果一个app应用了https,那Charles所抓到的包只能显示乱码,所以需要在Charles上配置相关SSL证书。
hashlib模块使用
md5在爬虫队列去重、接口加密方面都能用到,是比较基础和常见的摘要算法,本文记录:
1、基本概念 2、hashlib模块的使用 3、hmac模块的使用
Linux上使用crontab命令完成定时scrapy爬虫
使用scrapy的时候,有时候不想每次都手动敲命令行,就可以使用crontab配置scrapy定时任务在后台运行,这样不用人工干预,每个周期都可以定时自动执行啦。本文主要介绍两方面:
1、crontab的用法 2、使用crontab配置scrapy定时任务。