在学习 js 加密的过程中，关于 RSA 加密知识有所接触，因此记录一下实际过程中遇到的问题。在这里我们主要讲解当没有公钥，已知公钥模数和指数的情况下，实现 RSA 加密。一、cryptography 包获取 RSA 公钥首先需要安装 cryp...

接着上期对 post 请求中 form data 数据加密的分析，今天我们接着进行 get 请求中 加密参数的分析。一、实例网站本实例的网站是七麦数据中国 App Store 排行榜，继续学习使用 chome 浏览器的 devtool 工具，对 js 进行分析...

在前几天学习 Python 模拟登录知乎实例，其中关于涉及到了 fromdata 的加密处理，再学习的过程中，发现利用 chrome devtool调试分析网页还是有很多技巧需要学习，因此自己找了一个简单的实例用来学习 js 加密。一、实例网站...

在爬虫处理验证码的过程中接触到矩阵卷积运算，关于该类运算，记录一下自己的心得。理论知识在讲述卷积过程前，我们来了解一下卷积公式。根据离散二维卷积公式：其中A为被卷积矩阵，K为卷积核，B为卷积结果，该公式中，三个...

在爬虫学习的过程中，当遇到爬取量较大的情况下，爬虫消耗的时间会比较多。除开使用 Python 爬虫框架之外，合理使用多进程与多线程来爬取数据是非常有效的。在前两天的实例操作过程中，由于爬取内容较多，导致时间过长，因...

本文希望达到的目标：学习 Queue 模块了解多线程同步与 Queue 的关系理解 Queue 队列中 join()与 task_done()的关系1.Queue 模块Queue 模块实现了多生产者多消费者队列, 尤其适合多线程编程.Queue 类中实现了所有需要的锁原...

前言在爬虫学习的过程中，一旦爬取的数量过大，很容易带来效率问题，为了能够快速爬取我们想要的内容。为此我们可以使用多线程或者多进程来处理。多线程和多进程是不一样的！一个是 threading 库，一个是 multiprocessing ...

在上一节Python数据结构——序列构成的数据之内置序列 中有提到元组，元组除了用作不可变的列表，它还可以用于没有字段名的记录。本文就来好好学习一下元组这种数据结构。元组和记录元组其实是对数据的记录：元组中的每个元素...

内置序列类型序列类型按照存放内容来分类： - 容器序列——容器序列存放的是它们所包含的任意类型的对象的引用；主要包括 list、tuple 和 collections.deque - 扁平序列——扁平序列里存放的是值而不是引用，换句话说，扁平序列...

CrawlSpiders是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制，从爬取的网页中获取link并继续爬取的工作更适合。适合爬取知乎或简书...