[DB] 데이터베이스 (2)
Join
- 데이터베이스에서 여러 개의 테이블을 조합하여 하나의 열로 표현한 것
- Join을 사용하면 각 테이블에 저장된 데이터를 연결하여 더 많은 정보를 얻을 수 있다.
- Inner Join, Left Join, Right Join, Full Outer Join …
- 각 Join의 차이는 연결할 테이블의 기준이 되는 컬럼과 결과에 포함될 데이터의 종류에 따라 달라진다.
- Join을 사용하면 중복된 데이터를 줄이고 데이터베이스의 성능을 향상시킬 수 있으나, Join을 잘못 사용하면 데이터베이스의 성능에 부정적인 영향을 미칠 수도 있으므로 적절한 사용 방법을 알고 있어야 한다.
종류
- (Inner) Join
- 두 테이블에서 일치하는 데이터만 추출하는 Join
- Join 조건을 만족하는 데이터만 결과로 출력됨
- 데이터의 정확도를 높일 수 있음
- Left Join
- 첫 번째 테이블 전체와 두 번째 테이블에서 일치하는 데이터만 추출하는 Join
- 두 번째 테이블에 일치하는 데이터가 없더라도 첫 번째 테이블의 데이터는 모두 출력됨
- 첫 번째 테이블의 데이터를 기준으로 두 번째 테이블의 데이터를 연결할 수 있어, 첫 번째 테이블의 모든 데이터를 유지하면서 두 테이블을 연결할 수 있음
- Right Join
- 두 번째 테이블 전체와 첫 번째 테이블에서 일치하는 데이터만 추출하는 Join
- 첫 번째 테이블에 일치하는 데이터가 없더라도 두 번째 테이블의 데이터는 모두 출력됨
- 두 번째 테이블의 데이터를 기준으로 첫 번째 테이블의 데이터를 연결할 수 있어, 두 번째 테이블의 모든 데이터를 유지하면서 두 테이블을 연결할 수 있음
- Full Outer Join
- 두 테이블에서 일치하는 데이터와 일치하지 않는 데이터를 모두 추출하는 Join
- 두 테이블 중 하나에만 있는 데이터도 추출됨
- 일치하지 않는 데이터는 NULL로 표시됨
- 두 테이블의 모든 데이터를 확인할 수 있음
Sharding & Master/slave
Sharding
- 대용량 데이터를 분산 저장 및 처리하기 위한 방법 중 하나
- 논리적인 단위인 Shard로 데이터를 분할하여 저장함
- 각 Shard는 독립적인 데이터를 가지고 있어, 데이터베이스 전체가 다운되지 않고도 일부 Shard만 이용 가능함
- 분산 환경에서 성능, 확장성, 가용성 등을 보장하고 비용을 절감할 수 있음
구현 방식
수평 분할
- 테이블의 행(row)을 분할하는 방식
- 분산된 각각의 Shard는 동일한 스키마를 가짐
- 분산된 데이터가 골고루 분산되어 저장되어야 효율적인 분산 처리가 가능함
- 특정 행의 조회가 빈번한 경우는 효율성이 떨어질 수 있음
수직 분할
- 테이블의 열(column)을 분할하는 방식
- 분산된 각각의 Shard는 서로 다른 스키마를 가짐
- 각 Shard는 자신이 담당하는 열을 처리하기 위한 전용 인스턴스를 가짐
- 데이터 분산 처리의 효율성이 높아짐
- 서로 다른 스키마를 가진 Shard 간의 Join 처리가 어려움
Key 선택 방식
Range-based sharding
- Shard Key의 값의 범위를 기준으로 Shard를 분할하는 방식
- Shard Key를 기준으로 범위를 나누어 각 Shard에 할당함
- Shard Key의 값이 골고루 분포되지 않으면 데이터 불균형 문제가 발생할 수 있음
Hash-based sharding
- Shard Key의 값으로 해시 함수를 적용한 결과를 기준으로 Shard를 분할하는 방식
- Shard Key의 값이 골고루 분포되도록 해시 함수를 선택함
- 특정 행이나 특정 키를 중심으로 분산될 가능성이 있음
- 범위 검색에 대한 제약이 있을 수 있음
List-based sharding
- Shard Key의 값으로 목록(List)을 지정하여 Shard를 분할하는 방식
- Shard Key의 값에 따라 해당하는 목록에 포함된 Shard에 데이터를 할당함
- Shard Key의 값이 목록에 포함되어 있지 않으면 데이터를 저장할 Shard가 없는 경우가 발생할 수 있음
Composite sharding
- 두 개 이상의 Key를 조합하여 Shard를 분할하는 방식
- 각 Key 별로 분산 처리하는 방식을 조합함
- 예를 들어, 날짜 범위 기준과 지역 기준으로 Shard를 분할하는 것 등이 가능함
Master/Replica
- 대용량 데이터를 처리하기 위한 방법 중 하나
- 하나의 Master DB와 하나 이상의 Replica DB로 이루어짐
- Master DB에서 데이터의 쓰기 작업이 이루어지면 Replica DB들은 그 데이터를 복제하여 저장
- 데이터베이스의 부하를 분산하여 처리하고 데이터의 안정성을 보장
- Master DB가 다운되었을 경우 Replica DB 중 하나를 Master DB로 승격시켜 대처할 수 있음
- Read 작업이 많은 경우 Replica DB를 이용하여 응답 속도를 향상시킬 수 있음
Replication Lag
- Master와 Replica 간의 데이터 복제 지연 시간을 의미
- Master에서 변경된 데이터가 Replica로 복제되는데 시간이 걸릴 수 있음
- 데이터 복제 지연이 발생하면 Replica에서는 Master와의 데이터 불일치 문제가 발생할 수 있음
Failover
- Master Server가 다운되는 경우, Replica Server 중 하나가 Master로 승격되는 과정
- Failover 과정에서는 Master 서버의 장애를 감지하고, 이에 대한 대응 및 Replica 서버에서 Master 서버로 승격하는 과정이 필요
- Master 서버와 Replica 서버 간의 데이터 복제 지연이 발생할 경우, Failover 과정에서 문제가 발생할 수 있음
- Master 서버의 복구 작업이 완료될 때까지 Replica 서버가 Master 역할을 수행해야 하는데, 이 과정에서 데이터 일관성을 유지해야 함
- 대부분의 시스템에서는 Failover 과정에서 일시적으로 데이터 일관성 문제가 발생할 수 있음
- 이를 위해 Replication Lag를 최소화하는 방법이나, 다중화(Multiplication) 기술을 적용하는 경우도 있음
이상 현상과 정규화
이상 현상 (Anomaly)
- 이상 현상이란 데이터베이스에서 데이터를 조작할 때 발생할 수 있는 비정상적인 상황을 의미함
- 이상 현상에는 삽입 이상, 삭제 이상, 갱신 이상이 있음
삽입 이상 (Insertion Anomaly)
- 데이터를 삽입할 때 원하지 않는 결과가 발생하는 현상
- 예를 들어, 주문 정보와 관련된 테이블에서 고객 정보가 없으면 주문 정보를 삽입할 수 없는 경우가 있음
삭제 이상 (Deletion Anomaly)
- 데이터를 삭제할 때 원하지 않는 결과가 발생하는 현상
- 예를 들어, 주문 정보와 관련된 테이블에서 고객 정보가 삭제되면 해당 고객의 주문 정보도 함께 삭제되는 경우가 있음
갱신 이상 (Update Anomaly)
- 데이터를 갱신할 때 원하지 않는 결과가 발생하는 현상
- 예를 들어, 주문 정보와 관련된 테이블에서 고객 정보를 수정하면 해당 고객의 모든 주문 정보도 함께 수정되는 경우가 있음
정규화 (Normalization)
- 데이터베이스의 설계 과정에서 중복된 데이터를 제거하고, 데이터를 구조화하여 이상 현상을 방지하는 과정을 의미
- 정규화는 1차 정규화부터 5차 정규화까지 총 5단계로 구성
- 정규화를 통해 데이터 일관성을 유지하고, 이상 현상을 방지
- 하지만 과도한 정규화는 쿼리 처리 속도를 떨어뜨리고, 테이블 간의 조인이 복잡해질 수 있으므로 적절한 수준의 정규화가 필요
1차 정규화 (1NF)
- 각각의 컬럼이 원자 값(Atomic Value)만을 가지도록 테이블을 구성하는 것을 의미
- 원자 값은 더 이상 분해할 수 없는 값으로, 컬럼에 중복된 데이터가 없도록 함
2차 정규화 (2NF)
- 1차 정규화를 만족하고, 기본 키가 아닌 컬럼이 기본 키에 완전 함수적 종속(Fully Functional Dependent) 되어 있어야 함
- 기본 키 이외의 모든 컬럼은 기본 키 전체에 의존하는 것이 아니라, 기본 키의 일부에만 의존
3차 정규화 (3NF)
- 2차 정규화를 만족하고, 비기본 키가 다른 비기본 키에 의존하지 않도록 테이블을 구성하는 것을 의미
- 컬럼 간의 이행적 함수 종속(Transitive Functional Dependency)을 제거하여 데이터 중복을 방지
BCNF (Boyce-Codd Normal Form)
- 3차 정규화를 만족하고, 모든 결정자가 후보 키(Candidate Key)에 속하는 테이블을 의미
- 즉, 함수적 종속성을 만족시키면서 모든 결정자가 후보 키에 속하는 테이블을 구성
4차 정규화 (4NF)
- 다중 값 종속(Multi-valued Dependency)을 제거하는 정규화를 의미
- 다중 값 종속이란 하나의 키에 대해 여러 개의 값이 존재할 때, 이러한 값들이 각각의 값에 종속되어야 하는 경우를 의미
5차 정규화 (5NF)
- 조인 종속(Join Dependency)을 제거하는 정규화를 의미
- 조인 종속이란 두 개 이상의 테이블에서 조인을 해야만 원하는 정보를 얻을 수 있는 경우를 의미
트랜잭션
- 데이터베이스(Database)에서 수행되는 논리적인 작업의 단위
- 데이터베이스에서 일관성(Consistency)을 유지하기 위해 사용되며, 데이터베이스에 변경을 가할 때 사용
ACID
데이터베이스 트랜잭션(Transaction)에서 보장해야 하는 네 가지 특성의 약어
- 원자성(Atomicity)
- 트랜잭션의 실행이 중간에 중단되면, 이전에 실행된 모든 작업을 롤백하여 이전 상태로 되돌리는 것을 보장
- 일관성(Consistency)
- 트랜잭션이 시작하기 전과 끝난 후에도 데이터베이스의 일관성이 유지되어야 함을 보장
- 고립성(Isolation)
- 하나의 트랜잭션이 실행되는 동안에는, 다른 트랜잭션에서 접근하지 못하도록 막아야 함을 보장
- 지속성(Durability)
- 트랜잭션이 완료되면, 그 결과는 영구적으로 데이터베이스에 저장되어야 함을 보장
LOCK
- 다중 사용자 환경에서 동시에 접근하는 사용자들이 데이터베이스를 올바르게 유지하기 위해 사용되는 메커니즘
- 데이터베이스에서 동시성을 제어하기 위한 메커니즘
- 데이터베이스에 접근하는 여러 사용자들이 동시에 데이터를 수정하거나 읽을 때 일어나는 문제점을 해결하기 위해 사용
- 트랜잭션이 데이터베이스를 처리할 때 다른 트랜잭션에서 데이터에 접근하지 못하게 함
종류
- SHARED LOCK: 다른 사용자들이 읽기만 가능하고 수정은 불가능하도록 LOCK을 걸 때 사용된다.
- EXCLUSIVE LOCK: 다른 사용자들이 읽기 및 수정이 불가능하도록 LOCK을 걸 때 사용된다.
문제점
- DEADLOCK: 두 개 이상의 트랜잭션이 LOCK을 얻지 못한 채 대기하는 상태로 무한정 기다리는 상황이 발생하는 것을 의미한다.
- STARVATION: 한 트랜잭션이 LOCK을 계속해서 얻는 상황으로 다른 트랜잭션들이 영원히 LOCK을 얻지 못하는 경우를 의미한다.
최적화
- 락을 최소화하여 사용한다.
- 락의 범위를 최소화한다.
- 락 대기 시간을 최소화한다.
성능
- LOCK은 동시성 제어를 위한 메커니즘이므로 과도한 LOCK 사용은 동시성을 제한하고, 성능을 저하시킬 수 있다. 따라서 LOCK은 적절한 수준에서 사용하는 것이 중요하다.
Leave a comment