一、概述 在后期渗透测试中，经常会遇到需要向第三方发送http请求的场景，python中的requests库可以很好的满足这一要求，Requests模块是一个用于网络请求的模块，主要用来模拟浏览器发请求。其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能。但是这些模块都复杂而且差不多过时了，requests模块简单强大高效，使得其在众多网络请求模块中脱引而出。 二、安装和基本步骤使用 环境安装：pip install req

注：本文章为作者另一站点文章整理 城市公交、地铁数据反映了城市的公共交通，研究该数据可以挖掘城市的交通结构、路网规划、公交选址等。但是，这类数据往往掌握在特定部门中，很难获取。互联网地图上有大量的信息，包含公交、地铁等数据，解析其数据反馈方式，可以通过Python爬虫采集，接下来将详细介绍如何使用Python爬虫爬取城市公交线路和站点。 城市公交列表 首先，爬取研究城市的所有公交线路名称，即XX路。可以通过图吧公交、公交网、8684、本地宝等网站获取，该类网站提供了按

      前段时间在做商品sku销售情况分析，因为没有sku粒度的销量数据，只能通过库存变化来计算sku销量，再结合价格来算的销售额。在做库存采集过程中也采了不少的坑，写篇博文mark一下。 还是从PC和APP两端来分析和突破 PC端 得益于之前做过了PC端销量的采集分析，响应的数据都看了一遍，发现PC端的sku库存和销量数据是在同一接口中返回的，参见我的另一篇博文《商品销量接口》 没错，还是这个接口 https://detailskip.taobao.com/service/get

一、前言 前面两篇文章我已经把requests基础与高阶篇都做了详细讲解，也有不少了例子。那么本篇在基于前两篇文章之上，专门做一篇实战篇。 环境：jupyter 如果你不会使用jupyter请看我这一篇文章：jupyter安装教程与使用教程 二、实战 1）获取百度网页并打印 #-*- coding: utf-8 -* import requests url = 'http://www.baidu.com' r = requests.get(url

准备库、测试 安装request库 pip install requests 启动idle 测试百度网页，打印出来 看到百度的主页已经被抓取下来 Requests库的7个主要方法（前言） request.get(url) 打开request库的源代码，get方法使用了request方法来封装 Request库的2个重要对象 Response对象的属性 实际的例子 r.apparent_encoding：根据网页内容分析出

一、容我啰嗦两句 爬虫看多了，对身体不好，我们来点现实的，学学表白找个女朋友他不香吗，对吧~ 文章最后教你们怎么打包成exe，如果你懒得搞懂代码怎么回事，直接复制代码打包成exe运行就好了。这样不管你发给别人也好，以后方便直接用也好，都很方便。 咱就不整什么鸡皮疙瘩掉一地的情话啥的了，有需要的自行百度。 二、来吧，代码展示 我想了一下，要是一个个介绍，那不得写到天昏地暗去了，算了我直接放代码吧。 1、给女神比个小心心 还有什么是比发个笔芯更不容易尴尬的呢，对吧。即使对方不

前几天和一个小伙子聊天时，发现了一个问题，他从零开始学Python，学完列表、字典和函数等基础之后，就开始往爬虫方向进阶学习，结果又花了一个多月的时间，啥也没学成，反而寸步难行。 其实这个问题的主要原因还是在于Python入门知识没学好，我所说的Python入门知识指的不仅仅是列表等基础知识，还包括面向对象和进程线程等高级编程内容。 这可能是初学者不太清楚该怎么打基础，然后不巧的是所选择的学习资源就没有好好讲高级编程这一块的内容，导致了后面学起来吃力。欲速则不达，所以要往Python爬虫

系列文章目录 基础：requests的基本使用：QQ机器人基础  传送门 pythonQQ机器人系列：使用requests实现QQ机器人聊天 pythonQQ机器人系列：使用requests实现QQ机器人聊天（1-0国庆特更）传送门 目录 系列文章目录 前言 一、request库和go-cqhttp框架 二、使用步骤 1.引入库 三.源代码 四.源代码讲解 1. 2. 3. 4. 5. 6.  7. 前言 更偏向零基础。 通过使用requ

一. 前言 以该网页(链接)为例，上面有图片形式的PPT内容，我的目的是将所有图片下载下来保存到本地，如果鼠标一张一张点击下载效率很低，于是可以用爬虫批量爬取图片。 采用爬虫爬取网页中的图片主要分为两个步骤： 获取网页中所有图片的链接； 下载图片对应链接并保存在本地。 接下来我将分别从以上两个步骤讲解图片爬取过程。 二. 获取图片链接 在网页中按下键盘右上角的F12，找到网页的Html，如图所示： 当我们的鼠标在Html上移动时，左边对应位置处将会变成蓝色。在Html中查找

前言 在逐渐深入学习爬虫后每一次的测试都心惊胆战，就像拿了驾照开了一段时间不再是新手，但是更害怕别人“不请自来”。随着对爬虫速度和数量的要求逐渐提高，被封禁的可能性也越来越大，为了大家可以安心学习爬虫，这里附上伪装爬虫的方法，我愿称之为 “大变活虫”。 以下案例仅供学习 一、爬虫都拿走了些什么 在使用爬虫爬取网站时网站会获取你的请求头，ip地址，cookie等信息，以此来简单判断时用户还是爬虫。 通过请求头可以判断出你浏览器型号等，通过ip可以知道你的大致位置，通过co

最近花了不少时间专门去更新了一下Python所有方向的学习路线图，在之前的基础上做很多的改良，希望能够帮助自学的小伙伴们，多一份参考，避免少走弯路。 但首先我得先说明一下，每个技术人对技术的看法都不尽相同，这只是我个人认为自学Python某些方向该掌握的一些知识点，希望大家能求同存异。 学习路线图有什么作用？ 在放学习路线之前，我先来讲一下这个学习路线图有什么作用，避免有些新手看得云里雾里的。 学习路线图上面写的是某个方向建议学习和掌握的知识点汇总，举个例子，如果你要学习爬虫，那么你

提示：本文默认你已经学会使用selenium的旧版本，因此对一些可以直接搜索到很多的内容，你应该是已经学会的 前言 Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等。这个工具的主要功能包括：测试与浏览器的兼容性——测试应用程序看是否能够很好得工作在