개발자: 지식 정리/🔧카프카 시리즈1 [🔧카프카] 가볍게 알아보는 카프카 탄생 배경 카프카의 탄생 카프카는 소셜 네트워크 서비스 링크드인(LinkedIn)에서 서비스를 운영하며 나타난 기술적인 이슈들을 해결하기 위해 처음 탄생했다. 링크드인 사이트는 서비스가 급속도로 성장하며 기하급수적으로 늘어난 데이터를 관리하는데 큰 어려움을 겪었다. 데이터 생성 및 저장에는 데이터를 생성하는 소스 어플리케이션과 데이터가 최종 저장되는 타겟 어플리케이션, 그리고 이들의 연결이 필요하다. 초기에는 링크드인 아키텍처가 복잡하지 않아서 소스 어플리케이션에서 타겟 어플리케이션 End to End 연결 방식으로 소스코드가 작성되었고, 운영에도 큰 어려움이 없었다. 그러나 시간이 지날수록 아키텍처가 거대해지고 소스 어플리케이션과 타겟 어플리케이션 개수가 많아지며 문제가 발생했다. 데이터를 전송하는 라인이 많아지.. 2023. 8. 19. 이전 1 다음 반응형
