量化的第一步：数据 想要玩量化，第一步要有数据，这个数据可能是历史交易数据、财务数据、宏观数据等等。我们最终要做的，无非就是从数据中分析出有价值的信息，以便用来指导投资策略。 在获取数据的这条道路上，我走了很多弯路，尝试了各种方法：使用Tushare到放弃、自己写网易股票页面的爬虫，自己写申万行业数据的爬虫、自己写同花顺问财的爬虫、使用聚宽的免费数据API等等，直到最终，我发现了AKShare。 AKShare介绍 官网地址：https://www.akshare.xy

今天孩子学习爬虫练习，遇到如下错误： bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?     soup = bs4.BeautifulSoup(response.text, "lxml")   File "E:\乐乐python\venv\lib\site-packages\bs4\

一、 页面渲染 服务端渲染： 服务器端将数据和html整合到一起，统一返回给浏览器 页面源代码中能看到数据，直接、简单 数据通常没什么格式，需要想办法匹配 客户端渲染： 第一次只请求一个html骨架，随着输入操作等在后续请求获取数据，进行展示 页面源代码不能看到数据，需要第二次请求，需要抓包分析 数据通常是json或者固定格式的，处理方便 所以本质上，两种渲染方式对爬取各有优劣。 二、 headers处理        这个headers指的是html的头信息，这部分信息是

目录 摘 要 1 一、 设计目的 2 二、 设计任务内容 3 三、 常用爬虫框架比较 3 四、网络爬虫程序总体设计 3 四、 网络爬虫程序详细设计 4 4.1设计环境和目标分析 4 4.2爬虫运行流程分析 5 爬虫基本流程 5 发起请求 5 获取响应内容 5 解析数据 5 保存数据 5 Request和Response 5 Request 5 Response 5 请求方式 5 GET 5 POST 5 URL 6 请求体 6 4.3控制模块详细设计 6 v = [] 8 v = [] 9 六、

目录 【一】前言 【二】基础数据类型 【三】修饰符 【四】集合 【五】总结 【一】前言 作为一名CS本专业的程序员来说，大学学过的计算机课程，如：编程语言基本语法、数据结构、算法、计算机网络、计算机组成原理、数据库、汇编都是计算机系统里面的内容和知识。参加工作以后，这些内容真正能用得上也就是常用的那几项，如汇编这种工作中根本或几乎用不上。回过头来想想，这些最基本的知识，我们还记得多少呢？ 【二】基础数据类型 Java SE里面的知识介绍了java最基础的8种数据类型，这8

本篇主要介绍树美滑块的提交参数分析和demo本地调用 效果演示： 开始分析以下是获取滑块以下是获取滑块返回信息 以下是提交验证 以下是提交参数 参数差异对比 会变化的参数是以下几个 以下是提交参数返回状态 这里提前说一下，树美官网的滑块demo，在逆向参数的时候，captcha-sdk.min.js文件做了格式化检测，当你** 抓包替换** 格式化的之后，再去滑动提交是不会成功的，当你把格式化之后的代码再压缩回去，他又可以了。关于检测函数，已经找到了，后面会讲。 首

相关链接 Python大作业——爬虫+可视化+数据分析+数据库（简介篇） Python大作业——爬虫+可视化+数据分析+数据库（爬虫篇） Python大作业——爬虫+可视化+数据分析+数据库（数据分析篇） Python大作业——爬虫+可视化+数据分析+数据库（数据库篇） 一、登录界面 由于该程序会通过与数据库的交互来实现歌曲收藏等功能，故需要首先设计一个进行登录注册的界面 登录界面将与主界面同大小，且为了方便布局，设置为固定大小不可改变 self.setFixedSize(96

re.findall正则符说明 1、单字符表达 . : 除换行以外所有字符 [] ：[aoe] [a-w] 匹配集合中任意一个字符 \d ：数字 [0-9] \D : 非数字 \w ：数字、字母、下划线、中文 \W : 非\w \s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v] \S : 非空白 2、数量修饰 * : 任意多次 >=0 + : 至少1次 >=1 ? : 可有可无 0次或者1次 {m} ：固定m次 hello{3

1.爬51job职位信息 0.头文件 需要用到以下文件 from selenium import webdriver from selenium.webdriver import Chrome from selenium.webdriver.common.by import By import time from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver

 burp suite功能模块  Send to spider 发送给爬虫模块 DO a active scan 进行一次主动扫描 Send to intruder 发送给爆破模块 （爆破账号密码等） Send to repearter 发送给重放模块（会在burpsuite中显示网页小窗口） Send to comparer 发送给比对模块 Send to decoder 发送给解码模块（可以编码和解码） Request in browser 将请求在浏览器重放 Proxy 模块 P

一、什么是hook? 在 JS 逆向中，我们通常把替换原函数的过程都称为 Hook。一般使用Object.defineProperty()来进行hook。 1.1、理解Hook 以下先用一段简单的代码理解 Hook 的过程： function a() { console.log("I'm a."); } a = function b() { console.log("I'm b."); }; a() // I'm b. 直接覆盖原函数是最简单的做法，以上代码

策略一：建立IP池 内容比较复杂我就不在此一一细讲如何建立IP池 优点：   爬取速度很快，IP封了之后换一个新的就好 缺点：   设计程序很复杂 策略二：使用延时爬取 优点：   可以一直爬取（挂着就行）   成本低，   上手比较简单 缺点：   爬取速度慢 接下来是理论部分：   什么是封IP？ 当我们快乐的爬取网站数据的时候，爬着爬着就啥也爬取不下来了，我们检查requests，发现根本请求不了网站的源码，这个时候，很有可能是我们上网的IP被网站给封了。我们