2장 개략적인 규모 추정(back-of-the-envelope estimation)

가상 면접 사례로 배우는 대규모 시스템 설계 기초 - System Design Interview

2장 개략적인 규모 추정

개략적인 규모 추정

개략적인 규모 추정은 보편적으로 통용되는 성능 수치상에서 사고 실험(thought experiments)을 행하여 추정치를 계산하는 행위로서, 어떤 설계가 요구사항에 부합할 것인지 보기 위한 것이다.

이를 위해 알아야 할 상식들과 예시를 이번 장에서는 소개한다.

2의 제곱수

데이터 볼륨의 단위를 2의 제곱수로 표현하면 어떻게 되는지 숙지 해두자.

최소 단위는 1바이트이고, 8 비트로 구성.
ASCII 문자 하나가 차지하는 메모리 : 1바이트

2의 x 제곱	근사치	이름	축약형
10	1천(thousand)	1킬로바이트(Kilobyte)	1KB
20	1백만(million)	1메가바이트(Megabyte)	1MB
30	10억(billion)	1기가바이트(Gigabyte)	1GB
40	1조(trillion)	1테라바이트(Terabyte)	1TB
50	1000조(quadrillion)	1페타바이트(Petabyte)	1PB

2의 10승 이 대략 1000 이기 때문에 10씩 증가할때마다 뒤에 0이 3개씩 붙는다 생각하면 됨.

모든 프로그래머가 알아야 하는 응답지연 값

원본 : https://colin-scott.github.io/personal_website/research/interactive_latency.html

번역 : https://dev-jonghoonpark.github.io/interactive_latencies_korean/interactive_latency.html 
* zippy -> snappy 로 변경 (이름이 변경됨)

연산명	시간
L1 캐시 참조	0.5ns
분기 예측 오류(branch mispredict)	5ns
L2 캐시 참조	7ns
뮤택스(mutex) 락/언락	100ns
주 메모리 참조	100ns
Snappy로 1 KB 압축	10,000ns = 10μs
1 Gbps 네트워크로 2 KB 전송	20,000ns = 20μs
메모리에서 1MB 순차적으로 read	250,000ns = 250μs
같은 데이터 센터 내에서의 메시지 왕복 지연시간	500,000ns = 500μs
디스크 탐색(seek)	10,000,000ns = 10ms
네트워크에서 1 MB 순차적으로 read	10,000,000ns = 10ms
디스크에서 1 MB 순차적으로 read	30,000,000ns = 30ms
한 패킷의 CA(캘리포니아)로부터 네덜란드까지의 왕복 지연 시간	150,000,000ns = 150ms

ns = nanosecond(나노초), μs = microsecond(마이크로초), ms = millisecond(밀리초)
1나노초 = 10-9초
1마이크로초 = 10-6초 = 1,000나노초
1밀리초 = 10-3초 = 1,000μs = 1,000,000ns

수치 분석 결과

- 메모리는 빠르지만 디스크는 아직도 느리다.
- 디스크 탐색(seek)은 가능한 한 피하라.
- 단순한 압축 알고리즘은 빠르다.
- 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라.
- 데이터 센터 간에 데이터를 주고받는 데는 시간이 걸린다.

개념정리

L1, L2, L3 캐시, 주 메모리 참조

이미지 출처 :  https://pc.watch.impress.co.jp/img/pcw/docs/716/965/html/13.png.html

L1 탐색 후 L2 탐색 후 L3 탐색 이후 없으면 메인 메모리에서 탐색

속도 : L1 > L2 > L3 > 메인메모리
크기 : L1 < L2 < L3 < 메인메모리

* RAM : Random Access Memory

분기 예측 오류

분기 예측(영어: branch prediction)은 다음 실행될 조건문이 어떤 곳으로 분기할 것인지를 확실히 알게 되기 전에 미리 추측하는 CPU 기술이다.

만약 파이프라인이 조건 값의 계산이 끝날 때까지 대기한다면, 조건 분기 명령이 전체 파이프라인을 통과할 때까지 다음 명령은 파이프라인에서 수행되지 못하고 대기하게 될 것이다. 

분기 예측기는 이런 낭비를 막기 위해 단순한 알고리즘에 따라 다음 명령을 미리 추론한 후 미리 실행시킨다.

만약 분기 예측기의 예측이 맞으면 파이프라인은 낭비 없이 계속 수행되며, 예측이 틀릴 경우 미리 실행되던 명령이 파이프라인에서 모두 취소되고 올바른 명령이 다시 실행된다.

자바스크립트와 같은 인터프리터 언어는 기본적으로는 한 줄 씩 읽어서 수행하기 때문에 분기 예측을 지원하지 않는다.

Just-in-time 컴파일러(JIT compiler)를 통해 실행 중인 코드를 분석하고, 분기 예측과 같은 최적화 기술을 사용하여 실행 속도를 높일 수 있다.

뮤텍스 락/언락

[CS 기초 - 운영체제] 세마포어(Semaphore), 뮤텍스(Mutex), 스핀락(Spin lock)

임계 영역
임계 영역이란 둘 이상의 스레드가 동시에 접근해서는 안되는 공유 자원을 접근하는 코드 영역을 말한다

뮤텍스 락은 이러한 임계 영역에서 문제가 발생하지 않도록 제한 하는 방법 중 하나이며 아래와 같은 방식이 있다.

스핀락 : busy waiting
뮤텍스 : wait - signal (하나의 쓰레드만 임계 영역에 들어올 수 있음)
세마포 : queue 를 이용한 번호표 부여 (여러 쓰레드가 임계 영역에 들어올 수 있음)

 

디스크 탐색

디스크 기억 장치에서 지정하는 트랙으로 헤드가 움직여 도착할 때까지 걸리는 시간.

디스크 탐색을 줄이기 위해서 어떻게 할 수 있을까?

이에 대한 답변으로 디스크 한정적으로 접근을 해보자면 시퀀셜 엑세스나 인덱스를 고려할 수 있다고 한다.

가용성에 관련된 수치들

고가용성(high availability)은 시스템이 오랜 시간동안 지속적으로 중단 없이 운영될 수 있는 능력을 지칭하는 용어

SLA(Service Level Agreement) 서비스 사업자(service provider)와 고객 사이에 맺어진 합의를 의미

이 합의에는 서비스 사용자가 제공하는 서비스의 가용시간(uptime)이 공식적으로 기술되어 있다.

가용률	하루당 장애시간	주당 장애시간	개월당 장애시간	연간 장애시간
99%	14.40분	1.68시간	7.31시간	3.65일
99.9%	1.44분	10.08분	43.83분	8.77시간
99.99%	8.64분	1.01분	4.38분	52.60분
99.999%	864.00밀리초	6.05초	26.30초	5.26분
99.9999%	86.50밀리초	605.80밀리초	2.63초	31.56초

 

예제: 트위터 QPS와 저장소 요구량 추정

* 트위터의 실제 성능이나 요구사항과는 관계 없음

가정

- 월간 능동 사용자는 3억명이다.
- 50%의 사용자가 트위터를 매일 사용한다.
- 평균적으로 각 사용자는 매일 2건의 트윗을 올린다.
- 미디어를 포함하는 트윗은 10% 정도다.
- 데이터는 5년간 보관된다.

추정

QPS(Query Per Second) 추정치

- 일간 능동 사용자(Daily Active User, DAU) = 3역 X 50% = 1.5억
- QPS = 1.5억 x 2 트윗 / 24시간 / 3,600초 = 약 3,500
- Peek QPS = 2 X QPS = 약 7,000

왜 곱하기 2를 했을까?

이에 대한 답은 나와있지 않다. 일반적인 상황 (QPS)의 2배 상황을 피크로 가정한 것 같다. (정해진 건 없음.)

미디어 저장을 위한 저장소 요구량

평균 트윗 크기
- tweet_id에 64바이트
- 텍스트에 140바이트
- 미디어에 1MB

 

미디어 저장소 요구량
1.5억 x 2 x 0.1(10%) x 1 MB = 30TB / 일

 

5년간 미디어를 보관하기 위한 저장소 요구량
30TB * 365 * 5 = 약 55TB

시스템 디자인 면접 팁

- 근사치를 활용한 계산 : 결과의 정확함을 평가하는 것이 목적이 아니다. 적절한 근사치를 활용하여 시간을 절약하자.
- 가정들은 적어두라. 나중에 살펴볼 수 있도록
- 단위를 붙이라. 모호함을 방지할 수 있다.
- 많이 출제되는 개략적 규모 추정 문제는 QPS, 최대 QPS, 저장소 요구량, 캐시 요구량, 서버 수 등을 추정하는 것이다. 면접 전에 이런 값들을 계산하는 연습을 하도록 하자.