StreamSets 이용하여 빅데이터 Pipeline 실시간으로 처리하기.

부제: Working with Pipeline with StreamSets.   안녕하세요. 디랩 기술본부 입니다. 오늘은 현재 빅데이터 세상에서 많이들 사용하는 데이터 파이프라인(Pipeline) S/W 에 대해  소개하고, 회사에서 관련 기술을 어떻게 활용하고 있는지 포스팅 합니다.   “파이프 라인(Pipeline) 이 뭐죠?”   데이터 관련 프로젝트를 진행 하다 보면 간혹 위와 같은 질문을 받곤 합니다. 분명 알고 있긴 한데……어떻게 설명하는 게 좋을까?[…]