spark
-
[spark] FIXED_LEN_BYTE_ARRAY 오류Study/spark 2024. 10. 16. 10:19
parquet 파일을 read 하다 보면 아래와 같은 오류가 발생할 수 있다. 발생원인으로는 parquet 파일 내 decimal type의 컬럼이 존재할 경우 간혹 발생할 수 있다.parquet 파일 read 시 vector parquet reader가 활성화 되면서 binary type으로 decording 하는데이때, decimal type이 존재하면 오류가 발생하는 것이다. error messageorg.apache.spark.SparkException: Task failed while writing rows.Caused by: com.databricks.sql.io.FileReadException: Error while reading file s3://bucket-name/landing/edw/..