728x90
반응형
데이터 무한 증분하여 사이즈 초과로 에러 발생할 경우
set mapreduce.job.split.metainfo.maxsize=-1
set mapreduce.input.fileinputformat.split.minsize=536870912; (조정)
set mapreduce.input.fileinputformat.split.maxsize=1073741824; (조정)
경고: 이 설정을 -1로 지정하면, 실질적으로 스플릿 메타데이터에 대한 제한을 제거하게 됩니다.
클러스터에 실제 작업을 처리할 리소스가 부족할 경우 의도하지 않은 결과가 발생할 수 있으므로 주의하십시오.
728x90
반응형
'Bigdata > Hadoop' 카테고리의 다른 글
| Map and Reduce Error: Java heap space (2) | 2024.12.10 |
|---|