Bulk Insert

Bulk Insert with MySQL

Batch Insert 성능 향상기 1편 - With JPA - Yun Blog | 기술 블로그

GenerationType.IDENTITY를 사용하면 Batch Insert가 안된다고 한다.

Spring Data에서 Batch Insert 최적화

Hibernate가 채택한 Transactional Write Behind와 출돌이 발생하기 때문이라고 한다. 그래서 JDBC 수준에서 Batch Insert를 비활성화한다고 한다.

The only drawback is that we can’t know the newly assigned value prior to executing the INSERT statement. This restriction is hindering the “transactional write behind” flushing strategy adopted by Hibernate. For this reason, Hibernates disables the JDBC batch support for entities using the IDENTITY generator.

해결책

1. MySQL을 사용한다면 TABLE이나 SEQUENCE 를 써야할 지도 모르겠다. 하지만 별다른 조치 없이 사용하면 Batch Insert를 못쓰는 IDENTITY 보다도 느리다.

   dev-tips/JPA-GenerationType-별-INSERT-성능-비교.md at master · HomoEfficio/dev-tips

2. Spring Data JPA를 벗어나 JDBC를 사용한다.

   • JdbcTemplate의 batchUpdate() 등의 메서드를 사용할 수 있다.

   • 실제로 성능은 가장 빠르다고 한다. (테스트 환경에 따라 다를 수 있다.)

결론

• 아주 많은 수의 데이터를 한꺼번에 입력할 때는 Spring Data JPA를 잠시 뒤로하고 Spring Data JDBC의 batchUpdate()를 활용하는 것도 좋다.

  • Spring Data JDBC는 Spring Data JPA와 함께 혼용해서 사용할 수도 있고, @Transactional을 통해 트랜잭션이 관리될 수 있으므로, 현실적으로 가장 나은 방법이다.

• Spring Data JPA를 사용해야만 한다면 IDENTITY 방식 말고 Batch SEQUENCE 방식을 사용하는 것이 좋다.

  • 그러나 이 방식은 애너테이션 지정이 필요 이상으로 복잡하고,

  • 테이블 생성 시부터 적용하면 괜찮지만, 이미 ID 생성 방식이 IDENTITY인 기존 테이블을 SEQUENCE 방식으로 변경해야 하는 부담이 있고,

  • batch 크기 지정 관련 운영 상의 단점이 있다.