背景 之前打算做一个利用es实现商品搜索的功能，所以需要先把数据库的信息查询出来然后导入进去，而数据总量为八万条，但过程中发现数据丢失的问题，试了好几次都不行，并且还无法知道丢失了哪些数据 思路 我的想法是采用多线程并分页处理的方式来实现的 1.先得到结果总条数，比方每页查出200条，然后计算出    总共分页数=总条数/200（这里要记得向上取整，可利用Math的方法来实现） 2.然后利用CompletableFuture开启多个线程来查数据库得到每个线程对应的分页结果，这里我开

一、概念 1、分片Shards 一个 Lucene 索引 我们在 Elasticsearch 称作 分片 。 一个Elasticsearch 索引 是分片的集合。 当 Elasticsearch 在索引中搜索的时候， 他发送查询到每一个属于索引的分片（Lucene 索引），然后合并每个分片的结果到一个全局的结果集。 分片很重要，主要有两方面的原因： 1、允许水平分割 / 扩展我们的内容容量。 2、允许在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量。 分片的配置必须

一、k8s pod版本更新流程及命令行实现升级与回滚 deployment控制器支持两种更新策略 滚动更新(rolling update)： 滚动升级是默认的更新策略,滚动升级是基于新版本镜像创建新版本pod,然后删除一部分的旧版本pod,然后再进行创建新版本的pod,再删除旧版本的pod,直到pod删除完成,滚动升级的升级过程不会导致服务不可用的情况,缺点升级过程中会导致两个版本短时间内会并存 在执行滚动升级的同时,为了保证服务的可用性,当前控制器内不同的pod不能超出一定范围,因

一、开门见山 关系型数据库 MySQL 的 join 关系如何在 ES 中实现。 官方文档链接介绍如下： https://www.elastic.co/guide/en/elasticsearch/reference/6.3/joining-queries.html Nested object：嵌套对象 Parent child：父子关系 二、商铺SPU模型 电商系统常见的一对多对多关系： 一个商铺下有多个商品，一个商品下有多个单品，如北京 iph

1、ES中的日期类型有何不同 时间和日期类型是我们作为开发每天都会遇到的一种常见数据类型。和Java中有所不同，Elasticsearch 在索引创建之前并不是必须要创建索引的mapping。关系型数据库的思维就是在中写入数据之前，并不强制创建表结构。我们不用事先声明字段名称，字段类型以及长度等属性就可以直接像一个不存在的表中直接写入数据。 Elasticsearch把这种特性称之为dynamic mapping，也就是自动映射。Elasticsearch会根据你写入的字段的内容动

logstash日志清洗： 公司目前给我日志清洗任务，给了我乱七八糟资料之后看的一脸懵，最后决定自己动手整理整理这样有头绪点，记录一下自己学习过程。其中涉及到一些ip内容的我都改为ip，其他保持一致，欢迎大家一起讨论，我也是刚开始学习这个，如有写的不对请多指教。 一、学习阶段 1、首先理解logstash中各个语法： 事件：Logstash 每读取一次数据的行为叫做事件。 1）**Input：**输入插件，允许一个特定的事件源可以读取到 Logstash 管道中。 支持多种数据源：stdin，f

一、前言 随着业务发展，数据量的增长，对数据全文检索或模糊查询显得普遍而重要。 这个时候Mysql就无法应对海量数据下各种复杂条件的查询。有人说加索引，加索引确实可以提升查询速度，但是索引也是成本，MySQL 中加多个索引最终在执行 SQL 的时候它只会选择成本最低的那个索引，如果没有索引满足搜索条件，就会触发全表扫描，出现慢sql等性能低下，而有些场景是加索引也解决不了的。 这样的话，我们可以借助搜索引擎，将数据发送到搜索引擎（如ES）上，由搜索引擎来提供专业的服务。而ES是搜索引擎中

抓包工具mitmproxy环境配置使用（一） 抓包工具mitmproxy | mitmweb基本用法（二） mitmproxy抓包 | Python实时生成接口自动化用例（三） mitmproxy抓包 | Python实时生成接口自动化用例 mitmproxy抓包 | Python疑难测试场景mock实战（四） 篡改GET请求参数，实例一： 拉钩app，我的页面，显示推荐banner为8点一课 抓包信息如下，参数type=1 GET https://gate.lagou