728x90 반응형 Bigdata/Hadoop2 Map and Reduce Error: Java heap space set mapreduce.map.java.opts=-Xmx4096m;set mapreduce.reduce.java.opts=-Xmx4096m;set mapreduce.map.memory.mb=5120;set mapreduce.reduce.memory.mb=5120; 2024. 12. 10. hadoop mapreduce java.io.IOException: Split metadata size exceeded 10000000. 데이터 무한 증분하여 사이즈 초과로 에러 발생할 경우set mapreduce.job.split.metainfo.maxsize=-1set mapreduce.input.fileinputformat.split.minsize=536870912; (조정)set mapreduce.input.fileinputformat.split.maxsize=1073741824; (조정) 경고: 이 설정을 -1로 지정하면, 실질적으로 스플릿 메타데이터에 대한 제한을 제거하게 됩니다. 클러스터에 실제 작업을 처리할 리소스가 부족할 경우 의도하지 않은 결과가 발생할 수 있으므로 주의하십시오. 2024. 12. 10. 이전 1 다음 728x90 반응형