开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks报错 ERROR ElasticSearchClient - PutMappin?

DataWorks报错 ERROR ElasticSearchClient - PutMapping got ResponseCode: 400, ErrorMessage: {"root_cause":[{"type":"illegal_argument_exception","reason":"Limit of total fields [1000] has been exceeded"}],"type":"illegal_argument_exception","reason":"Limit of total fields [1000] has been exceeded"}?

展开
收起
真的很搞笑 2023-08-16 10:34:13 145 0
1 条回答
写回答
取消 提交回答
  • 这个错误提示是由于Elasticsearch中的字段数量超过了默认的限制,导致无法创建新的mapping。Elasticsearch在默认情况下限制了每个索引中可包含的字段数量为1000个。

    解决这个问题的方法是通过修改Elasticsearch的配置来增加字段数量的限制。您可以按照以下步骤进行操作:

    打开Elasticsearch的配置文件elasticsearch.yml。

    在文件中找到或添加以下配置项:
    index.mapping.total_fields.limit:

    其中,表示您希望设置的新的字段数量限制。可以根据实际需要设置一个更大的值。

    保存并关闭配置文件。

    重启Elasticsearch服务使配置生效。

    注意,增加字段数量限制可能会增加Elasticsearch的资源消耗,特别是内存的消耗。请确保您的Elasticsearch集群具备足够的硬件资源来支持新的字段数量限制。

    如果您的数据集确实需要超过默认限制的字段数量,那么增加字段数量限制是解决该问题的常见方法。但在增加字段数量限制之前,建议您仔细考虑数据模型设计,尽量减少字段数量,避免过度膨胀的索引。

    2023-09-20 14:09:19
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多