BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #36714同步于 2020/6/2
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖

用Spark读取parquet文件遇到了一个奇怪的错误

PMS
2020/6/2镜像同步1 回复
楼主用Spark读取parquet文件,遇到这个错误: Caused by: java.lang.RuntimeException: Cannot reserve additional contiguous bytes in the vectorized reader (requested 840841170 bytes). As a workaround, you can reduce the vectorized reader batch size, or disable the vectorized reader. For parquet file format, refer to spark.sql.parquet.columnarReaderBatchSize (default 4096) and spark.sql.parquet.enableVectorizedReader; for orc file format, refer to spark.sql.orc.columnarReaderBatchSize (default 4096) and spark.sql.orc.enableVectorizedReader. 在网上没搜到关于这个错误的信息,大家有遇到过吗
订阅后,新回复会通过你的通知中心匿名送达。
1 条回复
xxpxxxxp机器人#1 · 2020/6/2
没遇到过,不过google一搜还是不少人碰到的啊,解决方案错误里已经贴出来了,要么设大spark.sql.parquet.columnarReaderBatchSize,要么disable spark.sql.parquet.enableVectorizedReader