반응형 Exceeded limit on max bytes to buffer: 해결하기 AWS EC2 서버에서 크롤링을 진행하는 과정에서 문제가 발생하였다.API 호출에 대해 3번까지 retry를 걸었지만, 3번 모두 실패한 경우가 발생하였고특정 페이지 특정 데이터를 가져오려고 할 때에만 문제가 발생한다는 특이점을 얻었다. 처음 마주한 Exception은 아래와 같았다org.springframework.web.reactive.function.client.WebClientResponseException: 200 OK from GET 내 EC2 서버에서는 WebClient를 사용했고, 이 에러는 WebClient를 사용해서 데이터는 200 OK로 성공적으로 호출했으나데이터 변환 등의 과정에서 문제가 발생했다는 오류였다. 곧바로 내 로컬 서버에서도 돌려본 결과 마찬가지로 특정 페이지에 대해서만 .. 2024. 11. 5. Spring Scheduled가 EC2 에서 시차가 생길 때 Spring에서 Scheduled를 사용하면, 정해진 시간 또는 일정 간격 마다 특정 함수를 실행시킬 수 있습니다.혹시 해당 기능을 EC2에서 사용해보셨나요? 일정 간격 마다 실행할 경우에는 문제가 되지 않겠지만, 고정된 시간을 설정했을 경우엔 의도한 대로 실행되지 않을 것입니다.예를 들어 다음과 같이 "매일 아침 8시, 오후 1시" 를 기대하고, zone을 Seoul로 맞추기까지 했지만@Scheduled(cron = "0 0 8,13 * * ?", zone = "Asia/Seoul") // 매일 아침 8시, 오후 1시 로컬에서는 잘 실행될지 몰라도 EC2에 올라갔을 때에는 의도했던 시간에 실행되지 않습니다. 그 이유는, EC2의 기준 시간이 UTC 이기 때문이며, 그렇기 때문에 이밖에도 기존에 사용하.. 2024. 11. 2. ✓ Built build/app/outputs/flutter-apk/app-debug.apk 무한 로딩 옛날에는 이런 적이 없었는데 요즘에는 앱을 빌드하다 보면 아래 부분에서 무한으로 멈춥니다..✓ Built build/app/outputs/flutter-apk/app-debug.apk 언젠가는 갑자기 됐다가.. 언젠가는 또 갑자기 안되고..이건 정말 앱을 개발하면서 굉장히 스트레스 받는 시간이었습니다 ㅜ..ㅜ이런 저런 방법을 다양하게 시도해봤고, 그 과정을 통해 일종의 방식을 나열해보게 되었습니다. 터미널에서 다음과 같은 순서로 진행하면 됩니다. 1.dart fix --apply 2.flutter clean 3.flutter build apk 4.휴대폰의 연결을 해제했다가 연결 5.adb shell pm clear {패키지} 6.flutter run 도움이 되셨길 바랍니다..저는 정말 다양하게 검색.. 2024. 11. 2. Spring Data JPA 에는 ON DUPLICATE KEY UPDATE 가 없다 ! 어떻게 해야할까 ! 이번에 새로운 서비스를 개발하다가 필요한 기능이 생겼다.이번 서비스는 일종의 크롤링과도 관련이 있다. 주기적으로 타 API를 호출하여 데이터를 가져와서1. 기존 데이터셋에 추가하거나2. 기존 데이터의 필드 중 변경사항이 있다면 업데이트해주어야 한다. 문제는, 타 API에서 하나의 데이터를 두 개로 관리해주고 있다.그래서 나는 이 데이터를 합쳐서 하나의 테이블로 관리해주어야 한다. API 1은 기본 정보에 관한 것이다.{ userId: 1, name: "john", phone: "012-3456-789"} API 2는 세부 정보에 관한 것이다.{ userId: 1, job: "Student", introduce: "Hello, my name is jonh", vi.. 2024. 8. 26. 이전 1 2 3 4 ··· 244 다음 반응형
