• ElasticSearch 5.0.1 java API操作


     

    今天来说下使用ES 5.0.1的API来进行编码。

    开始之前,简单说下5.0.1跟之前的几个变化。之前的ES自身是不支持delete-by-query的,也就是通过查询来删除,可以达到批量的效果,是因为刷新的原因,应该够近实时的特性相关。一直是以一个插件的形式存在,到5.0.1时,倒腾了半天,还是官方文档说,已经废掉了这个插件,放到ES Core中来了。这是一个变化,另外,初始化ES client的方式也变化了,这个要吐槽一下,从1.7到2.X,初始化方式改了一遍,从2.X到5.X又变了,让人有点受不了啊!

     

    闲话不提,开始。

     

    本篇谈到初始化,增,删,改。对于查询,我们用单独一节来说。

    ES的初始化:

    Settings esSettings = Settings.builder()

        .put("cluster.name", clusterName) //设置ES实例的名称

        .put("client.transport.sniff", true) //自动嗅探整个集群的状态,把集群中其他ES节点的ip添加到本地的客户端列表中

        .build();

       

        client = new PreBuiltTransportClient(esSettings);//初始化client较老版本发生了变化,此方法有几个重载方法,初始化插件等。

       

        //此步骤添加IP,至少一个,其实一个就够了,因为添加了自动嗅探配置

        client.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(ip), esPort));

       

    对于ES Client,有两种形式,一个是TransportClient,一个是NodeClient。两个的区别为:

    TransportClient作为一个外部访问者,通过HTTP去请求ES的集群,对于集群而言,它是一个外部因素。

    NodeClient顾名思义,是作为ES集群的一个节点,它是ES中的一环,其他的节点对它是感知的,不像TransportClient那样,ES集群对它一无所知。NodeClient通信的性能会更好,但是因为是ES的一环,所以它出问题,也会给ES集群带来问题。NodeClient可以设置不作为数据节点,在elasticsearch.yml中设置,这样就不会在此节点上分配数据。

    如果用ES的节点,大家仁者见仁智者见智,各按所需。

     

    现在已经通过TransportClient连接到了集群。下一步就是创建索引,有一个常用的关系型数据库与ES的映射关系:

    关系型数据库 -> 索引

    关系型数据表 -> 类型

    关系型数据项 -> 文档

    字段 -> 字段

     

    说到索引,简单说下分片(shard)。ES本身是分布式的,所以分片自然而然,它的分片并非将所有的数据都放在一起,以默认的5个主分片为例,ES会将数据均衡的存储到5个分片上,也就是这5个分片的数据并集才是整个数据集,这5个分片会按照一定规则分配到不同的ES Node上。这样的5个分片叫主分片。然后就是从分片,默认设置是一个主分片会有一个从分片,那么就有5个从分片,那么默认配置会产生10个分片(5主5从)就散布在所有的Node上。主分片的个数是索引新建的时候设置的,一经设置,不可改变,因为ES判断一条文档存放到哪个分片就是通过这个主分片数量来控制的。简单来讲,插入的文档号与5取余(实际不是这样实现的,但是也很简单)。检索结果的时候,也是通过这个来确认结果分布的,所以不能改。从分片的数量可以随便改,因为塔是跟主分片关联的。另外,Node节点也可以随时加,而且ES还会在新节点加入之后,重新调整数据分片的分布。

     

    新建索引:

    client.admin().indices().prepareCreate(indexName).get();

    或者

    client.admin().indices().prepareCreate(indexName).setSettings(settings).get();

    ES是区分大小写的,索引所有数据在进到ES之前,最好都规格化。

    setSettings挺有用,比如上面说的设置分片数就是通过这里设置的,参数可以是JSON,也有其他的重载;

    这里说下在新建索引的时候配置默认的分词器IK

    {"analysis":{"analyzer":{"ik":{"tokenizer":"ik_smart"}}}}

    这是我用JSON序列化出来的,红底的ik是我为analyzer设置的名字,通过这个名字在索引和检索的时候,来调用ik分词器。当然,我们打算把IK设置为默认的分词器,可以将ik改为default,这样就不需要在索引和检索的时候指定了,默认的分词器为standardAnalyzer。

    设置好之后,新建一个Index,可以用Kibana瞧瞧结果:

    注意,Kibana有个坑,就是用它来分词中文,会有乱码,这个跟ES没关系,用Kibana的结果

    用FireFox的插件Request的结果,话说Request还是极好用的:

    有遇到并知道为啥的给指点一下。

     

    创建好了索引,接下来就是类型了,创建类型很简单,直接插入一个文档,如果文档所属的类型不存在,则会新建,如果存在,就直接插入。但是在插入文档之前,我们可以对一些预料到的字段或者其他属性进行一个预定义的设置,比如,我在插入文档之前,想让所有的id都是long类型,并且id是要存储并且不需要分析的。(关于字段存储和分析,下回再说)。可以用MappingRequest这个类帮我们达到目的。直接上代码

    XContentBuilder builder = XContentFactory.jsonBuilder()

    .startObject()

    .startObject(type)

    .startObject("properties");

    JSONObject object = mapping.getJSONObject(i);

    builder.startObject(object.getString("fieldName"));

    builder.field("type", object.getString("fieldType"));

    builder.field("index", "not_analyzed");

    builder.field("store", "yes");

    builder.endObject();

    builder.endObject().endObject().endObject();

    PutMappingRequest mappingRequest = Requests.putMappingRequest(index).type(type).source(builder);

    client.admin().indices().putMapping(mappingRequest).actionGet();

     

    这样就指定好了mapping

    那接下来我们添加文档,添加文档可以单条添加,也可以批量添加:

    单条添加:

    client.prepareIndex(indexName, type)

    .setSource(jsonData)

    .setId(jsonData.getString(KEY))//自己设置了id,也可以使用ES自带的,但是看文档说,ES的会因为删除id发生变动。

    .execute()

    .actionGet();

    批量添加:

    BulkRequestBuilder bulkRequestBuilder = client.prepareBulk();

    for (int i = 0; i < docData.size(); i++){

    bulkRequestBuilder.add(client.prepareIndex(indexName, type).setId(docData.getJSONObject(i).getString("id")).setSource(docData.getJSONObject(i)));

    }

    BulkResponse bulkResponse = bulkRequestBuilder.execute().actionGet();

    bulkRequestBuilder.request().requests().clear();

    if (bulkResponse.hasFailures()){

        //TODO:

    }

     

    删除:

    client.prepareDelete(indexName, type, docId).execute().actionGet();

    更新

    UpdateRequest updateRequest = new UpdateRequest();

    updateRequest.index(indexName).type(type).id(jsonData.getString("id")).doc(jsonData);

    client.update(updateRequest);

    以上代码都很简单,但都有不少重载,可以先通过一个方法进去,然后研究各个重载是应对什么情况的。

    通过上面的编码,就可以在我们的程序中实现ES的初始化,添加文档,删除文档,和更新文档。最后,再说下delete-by-query

    ES提供接口,可以直接删除整个索引

    client.admin().indices().delete(new DeleteIndexRequest(indexName)).actionGet();

    上面也提到了删除一个文档,但是如果删除整个type呢?es是没有提供整个东西的。因为ES是基于Lucene的,Lucene的核心是文档,一个索引就是一个文件夹,里面存储都是文档,所以没有type的物理概念。ES里面提供了这样一个概念。是一组Field定义相同的文档的集合。那么我们要删除特定的集合的文档,比如一个type下的,怎么做的?Lucene提供了delete by query的能力,那么,我们就按照这个去做就是了:

     

    QueryBuilder builder = QueryBuilders.typeQuery(type);//查询整个type

    DeleteByQueryAction.INSTANCE.newRequestBuilder(client).source(indexName).filter(builder).execute().actionGet();

     

    好了,最后再提一点,所有的操作之后,都至少要等待1s,因为ES/Lucene是近实时,而不是准实时,索引才做之后,会有默认的刷新时间,之后才可以将更新真正生效。一定要注意这点。

  • 相关阅读:
    使用iwebshop開發實現QQ第三方登錄
    實現QQ第三方登錄
    實現一個天氣預報折現圖功能
    yii框架製作簡易RBAC權限管理
    yii框架RBAC權限管理
    如何利用swoole搭建一個簡易聊天室
    oracle 常用语句
    博客侧边栏
    Oracle 函数使用记录
    myeclipse 导入项目时no projects are found to import解决办法
  • 原文地址:https://www.cnblogs.com/kamong/p/6104022.html
Copyright © 2020-2023  润新知