在这里给大家简单介绍一下如何使用索引模版自动处理进来的数据流，并且配置字段的动态解析

一、索引模板

索引模版是什么

1. 索引结构定义：你可以使用索引模板定义索引的映射（mapping），包括字段的数据类型、分析器、复制因子等。这有助于确保索引的一致性，使你的数据能够被正确地分析和检索。
2. 索引设置：索引模板还允许你定义索引的设置，如分片数量、副本数量、索引的生命周期策略等。这有助于优化索引的性能和可用性。
3. 动态模板：你可以根据索引的名称模式，使索引模板应用于符合特定名称模式的索引，这允许你根据需要自动创建和管理多个索引。
4. 数据一致性：通过使用索引模板，你可以确保在创建新索引时，它们都遵循相同的结构和设置，从而确保数据的一致性和可查询性。
5. 索引生命周期管理：你可以使用索引模板来定义索引的生命周期策略，以便在索引不再需要时自动删除或归档它们。

ELK索引模板的作用是帮助你自动化和标准化索引的创建和管理，以便更轻松地处理日志、指标和其他类型的数据，同时确保数据一致性和最佳性能。

创建

首先打开，stack Management ，可以进入到一些列安全配置，索引管理，kibana相关配置的页面

在进入索引管理菜单就能看见索引模版界面

1.运筹

在这里由于我需要处理的是日志数据，日志数据是一种时间序列数据，在这里我不采用索引存储，而采用ES7.9的新特新数据流

采用理由

时间序列数据更适合使用数据流而不是普通索引的主要原因在于数据流模型提供了一些重要的优势，可以更好地满足时间序列数据的处理和分析需求：

1. 数据段管理：时间序列数据通常是连续不断地生成的，而且旧数据可能需要定期滚动或删除。数据流允许你在不中断数据的写入的情况下管理数据段，这在日志和指标等持续生成的数据场景中非常有用。
2. 简化数据维护：数据流可以包含多个底层索引，它们通常具有相似的结构和生命周期。这简化了索引的维护，因为你可以一次管理多个索引的滚动、删除和设置。
3. 查询性能：数据流通常使用索引别名来引用多个底层索引，这可以简化查询，同时提高查询性能，因为 Elasticsearch 可以自动选择合适的底层索引以加速查询。
4. 数据分析：时间序列数据常常需要进行时间窗口分析、聚合和滚动统计。数据流模型使得这些操作更容易实现，因为它允许你针对整个数据流执行这些操作，而不必担心底层索引的复杂性。
5. 简化架构：使用数据流可以将多个底层索引组织成一个逻辑实体，这简化了整体架构，减少了混乱。

索引模式则是用与面板分析匹配的规则，后面会提到

组件模版和索引设置不清楚的可以跳过

2.映射

映射是模版对传输到es并且匹配成功的数据做的一个字段处理

已映射字段是 Elasticsearch 中的静态字段，它们在索引的创建或字段映射定义时明确定义。已映射字段通常用于静态结构的数据，如文本字段、数字字段、日期字段等。

运行时字段是 Elasticsearch 7.2 版本中引入的动态字段，它们不需要在索引映射中预先定义，而是可以在查询时动态生成。运行时字段通常用于对现有字段进行运算、汇总、转换或格式化，以满足特定查询或分析需求，而无需修改已存在的索引映射。

注意：

如果需要在视图分析中对某个字段进行图表数据分析，则需要在已映射字段设置关键字的同时，运行时字段中设置为keyword，这个时候已映射字段会有一个已遮蔽标识符

此外，运行时字段还支持用脚本来对字段做一系列的正则匹配以及分析，如下图：

图中使用场景为 匹配sql日志并且从中提取数据库表名

字段的配置到这里就差不多了，剩下就可以直接保存模版

当有配置模版索引模式规则的数据进来的时候就会自动套用该模版进行一些列处理并且自动创建数据流

二、索引模式

索引模式是对多个数据流|索引的一个匹配规则，索引模版的索引模式是匹配进入es的数据，而kibana的索引模式是用与展示视图

创建的时候索引模式会提前预览能匹配到的数据流或者索引

创建成功后就可以在Analystic菜单里面的 Discover 或者DashBoard 中查看数据，并且自定义看板