• 데이터 모델이 실제 세계의 데이터를 표현한다면 데이터베이스는 데이터가 시스템에 저장되는 방식을 지정한다.

3.1 데이터 소스

• ML 시스템은 다양한 소스에서 온 데이터로 작동한다. 데이터마다 특성, 목적, 처리 방법이 다르며 데이터 소스를 파악하면 데이터를 보다 효율적으로 사용하는 데 도움이 된다.
• 대표적인 데이터 소스는 사용자가 명시적으로 입력하는 사용자 입력데이터(user input data)로 텍스트, 이미지, 비디오, 업로드된 파일 등이다.
  • 이 경우, 사용자가 원격으로 잘못된 데이터를 입력할 수 있기에 포맷이 잘못되기 쉽다.
  • 파일 업로드 권한을 허용하면 사용자가 잘못된 포맷으로 파일을 업로드할 수 있다.
  • 따라서 사용자 입력 데이터는 철저한 검사와 처리가 필요하다. 또 사용자는 보통 데이터를 입력하면 결과가 즉시 반환되기를 기대한다. 따라서 사용자 입력 데이터는 빠른 처리가 필요한 경향이 있다.
• 또 다른 소스는 시스템 생성 데이터(system-generated data)이다. 이 데이터는 여러 구성 요소에서 생성되며 구성 요소에는 다양한 로그와 모델 예측 같은 시스템 출력 등이 있다.
  • ML 시스템을 디버깅하기는 어려우므로 일반적으로 가능한 것을 모두 기록한다. 따라서 로그 볼륨은 매우 빠르게 증가할 수 있으며 이는 대표적으로 두 가지 문제를 야기한다.
    1. 신호에 잡음이 섞여 어디를 봐야 하는지 알기 어렵다
    2. 급증하는 로그를 저장할 방법
• 이 외에도 회사의 다양한 서비스 및 엔터프라이즈 애플리케이션에서 생성된 내부 데이터베이스가 있다.
• 그리고 놀랍도록 다양한 서드 파티 데이터가 있다. 퍼스트 파티 데이터는 회사에서 사용자 또는 고객에 대해 이미 수집하고 있는 데이터이다. 세컨드 파티 데이터는 다른 회사에서 자체 고객에 대해 수집하는 데이터로, 제공받으려면 비용을 지불해야 한다. 한편 서드 파티 데이터 회사는 직접적인 고객이 아닌 공공 데이터를 수집한다.

3.2 데이터 포맷

• 데이터가 향후 어떻게 사용될지 고려해 포맷을 선택해야 한다. 고려해야할 몇 가지 질문 리스트

  • 멀티모달(multimodal)데이터(ex. 이미지와 텍스트를 모두 포함하는 데이터)는 어떻게 저장하나요?
  • 저렴하고 빠르게 액세스하려면 데이터를 어디에 저장해야 하나요?
  • 복잡한 모델을 다른 하드웨어에서 올바르게 로드하고 실행하려면 어떻게 저장해야 하나요?

• 데이터 직렬화(data serialization)란 데이터 구조나 객체 상태를 저장 혹은 전송하고 나중에 재구성할 수 있는 포맷으로 변환하는 프로세스이다. 직렬화 포맷은 매우 다양하다. 작업할 포맷을 고려할 때는 액세스 패턴, 사람이 읽을 수 있는지(human readability), 테스트인지 이진birnay인지(파일 크기에 영향을 미침_ 등 다양한 특성을 고려한다.

• 흔히 사용하는 데이터 포맷 및 사용 위치 표

  포맷	이진/텍스트	사람이 읽을 수 있는가?	유스 케이스
  JSON	텍스트	Y	매우 다양
  CSV	텍스트	Y	매우 다양
  파케이	이진	N	하둡, 아마존 레드시프트
  Avro	이진 포맷이 기본	N	하둡
  Protobuf	이진 포맷이 기본	N	구글, 텐서플로(TFRecord)
  Pickle	이진	N	파이썬, 파이토치 직렬화

3.2.1 JSON

• JSON (JavaScript Object Notation)
• 자바 스크립트에서 파생됐지만 언어 독립적이며 최신 프로그래밍 언어는 대부분 .JSON 생성과 파싱을 지원한다.
• 키-값(key-value) 쌍 패러다임은 단순하지만 강력하며 다양한 수준의 정형 데이터를 처리한다.