filesystem cache被用来执行更多的IO操作，如果我们能给filesystem cache更多的内存资源，那么es的写入性能会好很多。使用自动生成的id 如果我们要手动给es document设置一个id，那么es需要每次都去确认一下那个id是否存在，这个过程是比较耗费时间的。
可以从三方面进行优化：JVM性能调优、ES性能调优、控制数据来源 可以从三方面进行优化：JVM 性能调优、ES 性能调优、控制数据来源 第一步是 JVM 调优。 因为ES 是依赖于 JVM 运行，没有合理的设置 JVM 参数，将浪费资源，甚至导致 ES 很容易 OOM 而崩溃。
同步数据库到Elasticsearch时，需考虑索引shard和replica的合理配置，以及查询性能调优。通过滚动创建索引和使用索引别名，可以解决数据量增长和查询性能的问题。在面对查询加速挑战时，及时进行查询优化是关键。
ES的Translog是为了保障数据的实时性和完整性。作为近实时存储引擎，ES在接收到写入或修改请求时，会在内存中暂存数据，批量处理以提高性能。然而，这可能导致数据在断电或故障时丢失，因此Translog作为一种补偿机制，负责记录这些未提交的数据。当系统稳定后，数据会被写入分片，同时Translog也会被清理。
1、单独看ES能玩多大数据意义不大，具体实践中往往因为各种业务要求而无法继续增加数据量。目大的方面考虑有如下几点：查询速度。ES可以支持的查询类型多种多样，单一的term匹配，复杂的historm agg，甚至父子文档模式下bool查询之后继续做文本高亮，数据量越大查询时间越长。
2、在数据导入方面，Solr 提供了内置的数据导入工具，操作相对简单。在单机测试中，Solr 导入大约309万条记录需要14分钟，速度约为每秒3682条。 当数据量达到3百万条时，Solr 和 ElasticSearch 的模糊查询基本都在1秒内返回结果。但Solr在单机上的排序性能更优，大约在2到3秒内完成。
3、我们使用Elasticsearch存储的文档数量接近50亿（算上1份复制，接近 100亿文档），总共10个数据节点和2个元数据节点（48GB内存，8核心CPU，ES使用内存达到70%），每天的文档增量大概是3000W条（速度 持续增加中）。
数量级在亿级或以上。如数据集非常大，数量级在亿级或以上，可能需要使用es来存储和检索数据，es集群存储数据量达到10亿。
所有数据是存在ES中的，百万量级。恩~要用python写一个接口。通过查找资料，通过 ES模糊搜索 可以实现。 prefix的匹配一般是处理不分词的场景，将会匹配articleID中以”J”开头的doc。prefix不会计算revelance score，只是作一个过滤的操作，和filter唯一的区别是filter会缓存结果，而prefix不会。
es不可以一天存百万条数据。es一天最大的存储量是90万条数据，所以es不可以一天存百万条数据。es全称ElasticSearch，是一个基于Lucene的搜索服务器。
查询速度。ES可以支持的查询类型多种多样，单一的term匹配，复杂的historm agg，甚至父子文档模式下bool查询之后继续做文本高亮，数据量越大查询时间越长。如果只是简单的把数据写进去然后按照ID获取数据，那就尽管往里面写数据吧。写入速度。数据量越大，写入速度受影响的可能性越大。
显然，传统的推断统计量F及p-value只是说明均数差异，但这种差异脱离样本推广到不同的抽样群体，差异究竟有多大，需要用ES来描述。（可以这样来形容F值与ES值：F值表示的是样本1与样本2之间的显著性；而ES值是表示在样本1的总体与样本2的总体中随便抽取两个样本，这种差异显著性出现的可能性）。
结果就是导致es总的内存不断增长。解决该问题的版本是修改es的存储方式，配置参数index.store.type由mmap改成niofs。niofs的性能也很好，对检索的性能影响并不大，并且能够有效的控制内存增长。
为了提升写索引速度，并且同时保证可靠性，Elasticsearch 在分段的基础上，增加了一个 translog ，或者叫事务日志，在每一次对 Elasticsearch 进行操作时均进行了日志记录。 Segment在被refresh之前，数据保存在内存中，是不可被搜索的，这也就是为什么 Lucene 被称为提供近实时而非实时查询的原因。
调整es可使用的内存大小。编辑 config/jvm.options ，调整了Xms和Xmx的大小，由原来默认的1g调整为10g。（官方建议这个值不要超过物理内存的50%，也不要超过32G。详见 官网说明 ）接着重启es就好了。观察cpu，虽然偶尔也会彪上130%，但总体来说正常了，查询也变得很快。
可以看到正排数据、倒排索引数据，列存数据容量占比几乎相同，正排数据和倒排数据还会存储Elasticsearch的唯一id字段，所以容量会比列存多一些。35M的uuid存入Elasticsearch后，数据膨胀了3倍，达到了127mb。Elasticsearch竟然这么消耗资源，不要着急下结论，接下来看另一个测试结果。
1、cluster.routing.allocation.cluster_concurrent_rebalance 允许控制群集范围内允许的并发分片重新平衡数。 默认为2。 请注意，此设置仅控制由于群集中的不平衡而导致的并发分片重定位数。 此设置不会因分配过滤或强制感知而限制分片重定位。
2、ES集群的 rebalance 和 allocation 功能，可以自动均衡集群内部数据、分配分片，保证各个节点间尽量均衡。但是，在高访问量或者节点宕机的情况下，大范围的 rebalance 会影响到集群性能。所以，调整好集群相关参数，是重中之重。
3、es加节点会平衡数据。一个集群cluster由一个或者多个节点组成，具有相同的cluster.name，协同工作，分项数据和负载。当有新的节点加入或者删除了一个节点时，集群回感知到并能够平衡数据。es集群会自动做负载均衡，如果我们现在加一个es节点到集群中来的话，es会按照一定的规则将部分shard分配到新的节点上去。
4、在主Shard所在Node（ES进程）挂掉后，可以提升一个副本Shard为主Shard，文档继续写在新的主Shard上，来提升系统的容灾能力。 既然Shard和Replica有这样的好处，那么Elasticsearch是如何利用和管理这些Shard，让Shard在集群Node上合理的分配，比如，使副本Shard不和主Shard分配在一个Node上，避免容灾失效等。
5、es集群多个节点，会自动选举一个节点为master节点，这个master节点其实就是干一些管理的工作的，比如 维护索引元数据，负责切换primary shard和replica shard身份之类的。要是master节点宕机了，那么会重新选举一个节点为master节点。
ES岗位是什么意思？企业招聘信息中常见的ES岗位指的是Enterprise Solutions的缩写，即企业解决方案。这类岗位的主要职责是为企业提供技术方面的解决方案，包括各种软件、硬件和网络设备的配置、安装、调试和维护等工作。
ES是Ethical Stands的缩写，它是沃尔玛的社会责任部门，因此 沃尔玛社会责任验厂，就叫ES验厂。
任现职时间的意思：担任一定行政领导职务的人员在其现任职务的岗位上工作的起始日期。工作最早时间包括最早开始时间（ES）和最早完成时间（EF）。工作最早开始时间是指各紧前工作全部完成后，本工作有可能开始的最早时刻。工作最早完成时间指本工作有可能完成的最早时刻。
管理职位是行政职位序列，如办公室成员，议员，作者署长副主任等。专业和技术职位是在标题中实施的，例如工程师，技术人员，助理工程师，工程师，高级工程师等。
为了保持行业竞争力，需要学习的知识很多，但学习和应用是两个方面，现在的科技公司，大工厂，或者创业公司，使用的都是很多最新的框架或者技术，比如流行的springcloud，或者阿里的nacos，还有es、rabbitmq等等。
其次从所学专业看，你的网络工程偏向于网络组网，横向的数据来龙去脉比较清楚，可以结合自己的兴趣向大数据处理过程的一些环节发展，比如数据安全性考虑。数学功底好的可以考虑建模算法研究应用。最后从职业规划看，要有一定的应用意识，抓住一点突破纵深发展为专家后再考虑面的扩展。