Logstash同步Invalid format: \“2019-12-20T15:18:13.000Z\“ is malformed at \“-12-20T15:18:13.000Z\“解决方案

简介: Logstash同步Invalid format: \“2019-12-20T15:18:13.000Z\“ is malformed at \“-12-20T15:18:13.000Z\“解决方案

参考:https://stackoverflow.com/questions/59517076/logstash-transfer-data-to-elasticsearch-parsing-date-error

Badger的回答:

The jdbc input will automatically change date columns to LogStash::Timestamp type, but your index template expects them to be text. Remove the "format" from the date fields in your index template.

翻译过来就是:jdbc输入将自动将日期列更改为LogStash::Timestamp类型,但索引模板要求它们是文本。从索引模板中的日期字段中删除“格式”。

意思就是说我们在设置索引的时候,"createTime":{"type":"date","format":"yyyy-MM-dd HH:mm:ss"},提前设置好了format,但是logstash只提供numberc和timestamp供选择,所以数据库里边datetime类型或者date类型的数据同步通过logstash无法转换成format的格式,所以报此错误

相关文章
|
小程序
小程序踩坑:Setting data field "xxxx" to undefined is invalid.
小程序踩坑:Setting data field "xxxx" to undefined is invalid.
297 0
|
JSON Linux 数据格式
原来是Gson导致,本地和linux服务器不同的环境导致Date转换出现问题:Invalid time zone indicator ‘ ‘
看到报错日志,第一反应就是,date数据的问题,同时又能发现全是和gson相关 结合报错行数的代码,盲猜就是gson对时间处理的问题了 于是寻找解决方法
620 0
|
7月前
|
消息中间件 Kafka
Kafka【问题记录 01】kill -9 导致 Kakfa 重启失败问题处理(doesn‘t match stored clusterId xxx in meta.properties)
【2月更文挑战第20天】Kafka【问题记录 01】kill -9 导致 Kakfa 重启失败问题处理(doesn‘t match stored clusterId xxx in meta.properties)
229 0
|
7月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版操作报错之报错File is not a valid field name 如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
小程序 API 开发者
【异常解决】“errcode“:47003,“errmsg“:“argument invalid! data.date4.value invalid rid:xxxxxx
【异常解决】“errcode“:47003,“errmsg“:“argument invalid! data.date4.value invalid rid:xxxxxx
675 0
【异常解决】“errcode“:47003,“errmsg“:“argument invalid! data.date4.value invalid rid:xxxxxx
|
6月前
|
分布式计算 DataWorks 数据库连接
DataWorks操作报错合集之同步脚本报错This error often occurs when a lot dirty data exists in the source data. 是什么原因
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
7月前
|
数据库
Greenplum【异常 03】COPY命令报错 > ERROR: invalid input syntax for type double precision: ““(问题分析及解决方案)数据去重
Greenplum【异常 03】COPY命令报错 > ERROR: invalid input syntax for type double precision: ““(问题分析及解决方案)数据去重
225 0
sls报错:m_idle_streams_timeout=10s, call invalid_srt
sls报错:m_idle_streams_timeout=10s, call invalid_srt
81 0
sls报错:m_idle_streams_timeout=10s, call invalid_srt
|
Linux
Specified sample format -1 is invalid or not supported
Specified sample format -1 is invalid or not supported
227 0
Specified sample format -1 is invalid or not supported
Application provided invalid, non monotonically increasing dts to muxer in stream
Application provided invalid, non monotonically increasing dts to muxer in stream
608 0
Application provided invalid, non monotonically increasing dts to muxer in stream