• ES(六) ElasticSearch搜索原理
• Elasticsearch Analyzer详解
• ElasticSearch GeoLocation 官方文档翻译之 Geo Point
• 企业级开源搜索引擎：Elasticsearch
• filebeat+elasticsearch+logstash+kibana收集系统日志(docker)
• Elasticsearch
• Elasticsearch 倒排索引

ES(六) ElasticSearch搜索原理

关于ES的搜索，小白暂且简单的归纳如下:     新增文档时涉及分词、构建索引     查询时涉及分词、查询索引、相关度评分 那么接下来，小白就从分词、索引、相关度评分三个方面开始瞎掰了...     分词是指将文本转换成一系列单词（term or token）的过程，也可以叫做文本分析，在es里面称为Analysis。     分词机制：         Character Filter：对原始文本进行处理，例如 去除html标签、替换字符等         Tokenizer：将原始文本进行分词，例如 小白最帅 =》 小白，最，帅         Token Filters：分词后的关键字进行加工，例如 转小写、删除语气词、近义词和同义词等         在进行Tokenizer之前对对原始文本进行处理，例如 去除html标签、替换字符等         不过进行处理后，会影响后续Tokenizer解析的position和offset         HTML Strip         =》    去除html标签和转换html实体         Mapping             =》    字符串替换操作         Pattern Replace =》    正则匹配替换         将原始文本进行分词，例如 小白最帅 =》 小白，最，帅         Elasticsearch自带的分词器：       【分词器（Analyzer）】            【特点】         standard（es默认）                    支持多语言，按词切分并做小写处理         simple                                          按照非字母切分，小写处理         whitespace                                  按照空格来切分         stop                                             去除语气助词，如the、an、的、这等         keyword                                       不分词         pattern                                         正则分词，默认w+,即非字词符号做分割符         langua         单个term：_score(单) = idf(t) * tfNorm(t in d)         多个term：_score(多) = 多个_score(单)的和     最后，我们在Kibana中通过explain查询语句来看一哈【所用索引和数据为下一节中的内容】：ES(五) ElasticSearch+Kibana+IK 安装—ES集群                                          ES(七) Demo-商品搜索

Elasticsearch Analyzer详解

Elasticsearch 中文本分析Analysis是把全文本转换成一系列的单词(term/token）的过程，也叫分词。文本分析是使用分析器 Analyzer 来实现的，Elasticsearch内置了分析器，用户也可以按照自己的需求自定义分析器。 为了提高搜索准确性，除了在数据写入时转换词条，匹配 Query 语句时候也需要用相同的分析器对查询语句进行分析。

Analyzer 的组成 Analyzer 由三部分组成：Character Filters、Tokenizer、Token Filters

Character Filters

Character Filters字符过滤器接收原始文本text的字符流，可以对原始文本增加、删除字段或者对字符做转换。 一个Analyzer 分析器可以有 0-n 个按顺序执行的字符过滤器。

Tokenizer Tokenizer 分词器接收Character Filters输出的字符流，将字符流分解成的那个的单词，并且输出单词流。例如空格分词器会将文本按照空格分解，将 "Quick brown fox!" 转换成 。分词器也负责记录每个单词的顺序和该单词在原始文本中的起始和结束偏移 offsets 。 一个Analyzer 分析器有且只有 1个分词器。

Token Filters Token Filter单词过滤器接收分词器 Tokenizer 输出的单词流，可以对单词流中的单词做添加、移除或者转换操作，例如 lowercase token filter会将单词全部转换成小写，stop token filter会移除 the、and 这种通用单词，synonym token filter会往单词流中添加单词的同义词。 Token filters不允许改变单词在原文档的位置以及起始、结束偏移量。 一个Analyzer 分析器可以有 0-n 个按顺序执行的单词过滤器。

Elasticsearch内置的分词器 Standard Analyzer - 默认分词器，按词切分，小写处理 Simple Analyzer - 按照非字母切分（符号被过滤），小写处理 Stop Analyzer - 小写处理，停用词过滤（the ，a，is） Whitespace Analyzer - 按照空格切分，不转小写 Keyword Analyzer - 不分词，直接将输入当做输出 Patter Analyzer - 正则表达式，默认 W+ Language - 提供了 30 多种常见语言的分词器

常用的插件分词器 IK Analyzer - 对中文分词友好，支持远程词典热更新，有ik_smart 、ik_max_word 两种分析器 pinyin Analyzer - 可以对中文进行拼音分析，搜索时使用拼音即可搜索出来对应中文 ICU Analyzer - 提供了 Unicode 的支持，更好的支持亚洲语言 hanLP Analyzer - 基于NLP的中文分析器

ElasticSearch GeoLocation 官方文档翻译之 Geo Point

Geo-points 就是我们地球的经纬度，它能够用于计算地球两点之间的距离。 Geo-points 不能使用动态mapping，必须提前制定好geo_point类型 假设我们把 location 字段定义为geo_point 类型，我们创建文档的时候应该包含一对 latitude/longitude ，可以是 string ，arrays 或者 objects latitude/longitude 在每种类型的顺序是不一样的，在字符串中是"latitude,longitude"，但是在数组中应为， 以前，字符串和数组中的经纬度顺序是一致的，但是为了和GeoJSON保持一致，所以讲数组的经纬度顺序颠倒了。 四种geo-point filters 可以帮助我们去过滤数据，当我们使用geolocation时。 geo_bounding_box： 找出落在一个指定的长方形中的geo-points geo_distance： 找出以一个点为中心，一个指定半径范围内的geo-points geo_distance_range： 找出以一个点为中心，设置一个最小半径和一个最大半径，在这个之间的geo-points geo_polygon： 找出落在一个多边形范围内的geo-points，这个代价是相当昂贵的，如果你有这样的需求，建议使用 geo-shapes 每种filter的计算一个点是否落到一个区域的方式有些不同，但过程都是相似的。 所请求的区域被转换为quad/geohash前缀标记的范围，然后去倒排索引中搜索具有相同标记的文档。 Geo-filters 是相当耗费性能的，它适合用于在文档数量较少的时候。首先，你应该利用其它filter先过滤掉一部分数据。 它是到目前为止最有效率的filter，因为他的计算非常简单。你只需提供上、下、左、右四个坐标，剩下的就是他会比较longitude 是否在左右坐标内，latitude 是否在上下坐标内 geo_bounding_box 是不需要将所有的geo-points都加载到内存的。因为它需要做的就是检查the lat and lon 是否落到了一个指定的区域。它可以用倒排索引去做个一次过滤。 为了使用这种优化，我们必须指定geo_point 的映射,设置 "lat_lon": true 现在，当你执行下面的查询时，我们会告诉elasticsearch使用lat 和lon的索引 geo_distance 这个过滤器会画个圆，来找到在这个落在这个圆内所有的文档 geo-distance 的搜索是相当耗费性能的，为了优化，elasticsearch会首先会画一个内切于圆的正方形。然后用bounding-box filter 过滤掉一部分数据。然后在执行geo-distance filter去找到那些落在圆内的数据。 两点之间的距离可以利用一个牺牲性能来提高精度的算法去计算 arc： 最慢但是精度最高的就是arc 了，一个把地球看成一个球体，但是精度还是有限的，因为实际上地球并不是一个真正的球体 plane： plane 算法把地球看成扁平的。它很快但是精度低。在赤道精度最高。 sloppy_arc： 这么称呼他是因为这个算法是粗滤的计算。 在查询的时候，你可以和下面一样，指定一个算法 geo_distance 和 geo_distance_range 的唯一区别是，geo_distance_range是一个圆环。 查询结果是可以跟到一个点的距离排序的 你可以问问你自己，为什么要指定距离单位，排序？这不取决于我们用米、千米而产生不同的结果。真是的原因是排序的时候会返回结果

企业级开源搜索引擎：Elasticsearch

Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。但是Lucene只是一个工具类库，且接口较为复杂。你必须先理解搜索引擎的工作原理，才能有效利用Lucene。ElasticSearch通过隐藏Lucene背后复杂的搜索理论知识，预设了搜索引擎默认的参数，只需要最少的理解，就能快速搭建出搜索引擎，开箱即用。 1. 索引（Index） ElasticSearch的Index类似于关系型数据库的Database，用来存储各种类型的文档。一个索引应该是因共同的特性被分组到一起的文档集合。 以Google作为栗子，我们可以把Index理解为Google所抓取网页（文档）存储的地方。 2. 类型（Type） Type类似于关系型数据库的Table，用来存储相似文档的地方。 以Google作为栗子，我们可以把网页、图片、视频等不同类型的搜索，存放在不同的Type里面。 3. 文档（Document） Document类似于关系型数据库里面的Row，存储具体的一个对象。 ElasticSearch的文档是以JSON格式存储的。形如： 以Google作为栗子，一个网页就是一个文档。 4. 字段（Field） Field类似于关系型数据库的Column，存储某一个具体的属性。 以Google作为栗子，网页的标题（Title）就是一个字段。 注意： ElasticSearch的Type与传统关系型数据库的Table不一样的地方在于：同一个Index下的Type，名称相同的Field，类型要保持一致。 以Google作为栗子，当Google把网页类型的文档和图片类型的文档都存储在同一个Index下面时，假设网页和图片都有一个Title属性，那么在同一个Index下面，这两个属性的类型必须保持一致，比如必须都是String类型的。因为ElasticSearch更倾向于存储同构类型的文档。 下载安装包，并解压到/opt目录下 elasticsearch.yml文件 vim/opt/elasticsearch-2.4.4/config/elasticsearch.yml 启动项目 安装head插件 打开浏览器访问页面：http://192.168.204.151:9200/_plugin/head/

filebeat+elasticsearch+logstash+kibana收集系统日志(docker)

我们这里用到的是 filebeat+elk(elasticsearch+logstash+kibana) 来进行系统日志的收集。filebeat安装在各个服务器中，Logstash+ElasticSearch+Kibana安装在一台专门用于基础服务的服务器上。

Filebeat是一个轻量级的托运人，用于转发和集中日志数据. Filebeat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们转发到 ElasticSearch 或 Logsta