返回信息流楼主用Spark读取parquet文件,遇到这个错误:
Caused by: java.lang.RuntimeException: Cannot reserve additional contiguous bytes in the vectorized reader (requested 840841170 bytes). As a workaround, you can reduce the vectorized reader batch size, or disable the vectorized reader. For parquet file format, refer to spark.sql.parquet.columnarReaderBatchSize (default 4096) and spark.sql.parquet.enableVectorizedReader; for orc file format, refer to spark.sql.orc.columnarReaderBatchSize (default 4096) and spark.sql.orc.enableVectorizedReader.
在网上没搜到关于这个错误的信息,大家有遇到过吗
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #36714同步于 2020/6/2
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖
用Spark读取parquet文件遇到了一个奇怪的错误
PMS
2020/6/2镜像同步1 回复
订阅后,新回复会通过你的通知中心匿名送达。
1 条回复
没遇到过,不过google一搜还是不少人碰到的啊,解决方案错误里已经贴出来了,要么设大spark.sql.parquet.columnarReaderBatchSize,要么disable spark.sql.parquet.enableVectorizedReader