고민의 흔적

프로세스

컴퓨터에서 실행되고 있는 프로그램을 말하며 CPU 스케줄링의 대상이 되는 작업이다.

코드, 데이터, 스택, 힙 메모리 영역을 기반으로 작업한다. 

스레드

프로세스 내 작업의 흐름

프로세스 내의 스택 메모리 영역을 제외한 다른 메모리 영역을 프로세스 내 다른 스레드들과 공유한다.

프로세스가 다른 프로세스와 통신을 하기 위해서는 IPC를 사용해야 하지만 스레드는 메모리를 공유하기 때문에 다른 스레드와의 정보 공유가 쉽다. 그러나 스레드의 경우 동기화 문제 등의 단점이 있다.

예를 들어 웹 요청을 처리할 때 새 프로세스를 생성하는 대신 스레드를 사용하는 웹 서버의 경우 훨씬 적은 리소스를 소비하여 한 스레드가 중단되어도 다른 스레드를 실행상태일 수 있기 때문에 중단되지 않은 빠른 처리가 가능하다. 또한 동시성에서도 큰 장점이 있다. 하지만 한 스레드에 문제가 생기면 다른 스레드에도 영향을 끼쳐 스레드로 이루어져 있는 프로세스에 영향을 줄 수 있는 단점이 있다.

동시성 

서로 독립적인 작업들을 작은 단위로 나누고 동시에 실행되는 것처럼 보여주는 것

CPU프로세스 실행

프로그램이 메모리에 올라가면 프로세스가 인스턴스화가 일어나고 이후 운영체제의 CPU 스케줄러에 따라 CPU프로세스를 실행한다.

프로세스와 컴파일 과정

프로세스는 프로그램으로부터 인스턴스화된 것을 말한다. 

프로그램은 컴파일러가 컴파일 과정을 거쳐 컴퓨터가 이해할 수 있는 기계어로 번역 되어 실행될 수 있는 파일이 되는 것을 의미한다.

컴파일 과정

전처리

소스 코드의 주석을 제거하고 #include 등 헤더 파일을 병합하여 매크로를 치환한다.

컴파일러

오류처리, 코드 최적화 작업을 하며 어셈블리어로 변환

어셈블러

어셈블리어는 목적 코드로 변환된다.

링커

프로그램 내에 있는 라이브러리 함수 또는 다른 파일들과 결합하여 목적 코드를 결합하여 실행 파이을 만든다.

정적 라이브러리

프로그램 빌드 시 라이브러리가 제공하는 모든 코드를 실행 파일에 넣는 방식

시스템 환경 등 외부 의존도가 낮고 코드 중복 등 메모리 효율성이 떨어지는 단점이 있다.

동적 라이브러리

프로그램 실행 시 필요할 때만 DLL이라는 함수 정보를 통해 참조하는 방식

메모리 효율성에서의 장점과 외부 의존도가 높아진다는 단점이 있다.

프로세스의 메모리 구조

스택, 힙, 데이터 영역, 코드 영역으로 나눠진다. 스택은 위 주소부터 할당되고 힙은 아래 주소부터 할당된다.

스택

스택에는 지역변수, 매개변수, 함수가 저장되고 컴파일 시에 크기가 결정되며 동적인 특징을 갖는다.

스택 영역은 함수가 함수를 재귀적으로 호출하면서 동적으로 크기가 늘어날 수 있는데 이때 힙과 스택이 메모리 영역이 겹치면 안 되기 때문에 힙과 스택 사이의 공간을 비워 놓는다.

힙

힙은 동적 할당할 때 사용되며 런타임 시 크기가 결정된다. 예를 들어 벡터 같은 동적 배열은 당연히 힙에 동적 할당된다.

데이터 영역

데이터 영역은 전역 변수, 정적 변수가 저장되고 정적인 특징을 갖는 프로그램이 종료되면 사라지는 변수가 들어 있는 영역

데이터 영역은 BSS 영역과 Data 영역으로 나뉘고, BSS 영역은 초기화되지 않은 변수가 0으로 초기화되어 저장되며 Data 영역은 0이 아닌 다른 값으로 할당된 변수들이 저장된다.

코드 영역

코드 영역은 프로그램에 내장되어 있는 소스 코드가 들어가는 영역이다. 이 영역은 수정 불가능한 기계어로 저장되어 있으며 정적인 특징을 가진다.

PCB

운영체제에서 프로세스에 대한 메타데이터를 저장한 데이터를 말한다. 프로세스 제어 블록이라고도 한다. 프로세스가 생성되면 운영체제는 해당 PCB를 생성한다. 프로그램이 실행되면 프로세스가 생성되고 프로세스 주소 값들에 앞서 설명한 스택, 힙, 등의 구조를 기반으로 메모리가 할당된다. 그리고 이 프로세스의 메타데이터들이 PCB에 저장되어 관리된다.

PCB의 구조

• 프로세스 스케줄링 상태
• 프로세스 ID
• 프로세스 권한
• 프로그램 카운터
• CPU 레지스터
• CPU 스케줄링 정보
• 계정 정보
• I/O 상태 정보

컨텍스트 스위칭

PCB를 교환하는 과정을 말한다. 한 프로세스의 할당된 시간이 끝나거나 인터럽트에 의해 발생한다.

비용 : 캐시 미스

컨텍스트 스위칭이 일어날때 프로세스가 가지고 있는 메모리 주소가 그대로 있으면 잘못된 주소 변환이 생기므로 캐시 클리어 과정을 겪게되고 이 때문에 캐시 미스가 일어난다.

스레드에서의 컨텍스트 스위칭

스레드는 스택 영역을 제외한 모든 메모리를 공유하기 때문에 스레드 컨텍스트 스위칭의 경우 비용이 더 적고 시간도 더 적게 걸린다.

멀티 프로세싱

여러 개의 프로세스 즉 멀티 프로세스를 통해 동시에 두 가지 이상의 일을 수행할 수 있는 것을 말한다. 이를 통해 하나 이상의 일을 병렬로 처리할 수 있으며 특정 프로세스의 메모리, 프로세스 중 일부에 문제가 발생하더라도 다른 프로세스를 이용해서 처리할 수 있으므로 신뢰성이 높은 강점이 있다.

멀티 쓰레딩

프로세스 내 작업을 여러 개의 스레드 멀티 스레드로 처리하는 기법이며 스레드끼리 서로 자원을 공유하기 때문에 효율성이 높다. 

예를 들어 웹 요청을 처리할 때 새 프로세스를 생성하는 대신 스레드를 사용하는 웹 서버의 경우 훨씬 적은 리소스를 소비하며 한 스레드가 중단되어도 다른 스레드는 실행상태일 수 있기 때문에 중단되지 않은 빠른 처리가 가능하다. 또한 동시성에도 큰 장점이 있다. 하지만 한 스레드에 문제가 생기면 다른 스레드에도 영향을 끼쳐 스레드로 이루어져 있는 프로세스에 영향을 줄 수 있는 단점이 있다.

IPC

프로세스끼리 데이터를 주고받고 공유 데이터를 관리하는 메커니즘을 뜻한다.

클라이언트와 서버를 예로 들 수 있는데, 클라이언트는 데이터를 요청하고 서버는 클라이언트 요청에 응답하는 것도 I
PC의 예이다. IPC의 종류로는 공유 메모리, 파일, 소켓, 익명 파이프, 명명 파이프, 메시지 큐가 있다. 이들은 모두 메모리가 완전히 공유되는 스레드보다는 속도가 떨어진다.

공유 메모리

여러 프로세스에 동일한 메모리 블록에 대한 접근 권한이 부여되어 프로세스가 서로 통신할 수 있도록 공유 버퍼를 생성하는 것을 말한다. 기본적으로 각 프로세스의 메모리를 다른 프로세스가 접근할 수 없지만 공유 메모리를 통해 여러 프로세스가 하나의 메모리를 공유할 수 있다.

파일

파일은 디스크에 저장된 데이터 또는 파일 서버에서 제공한 데이터를 말한다. 이를 기반으로 프로세스 간 통신을 한다.

소켓

동일한 컴퓨터의 다른 프로세스나 네트워크의 다른 컴퓨터로 네트워크 인터페이스를 통해 전송하는 데이터를 의미하며 TCP와 UDP가 있다.

익명 파이프

프로세스 간에 FIFO 방식으로 읽히는 임시 공간인 파이프를 기반으로 데이터를 주고받으며, 단방향 방식의 읽기 전용, 쓰기 전용 파이프를 만들어서 작동하는 방식

명명된 파이프

파이프 서버와 하나 이상의 파이프 클라이언트 간의 통신을 위한 명명된 단방향 또는 이중 파이프를 말한다. 클라이언트/서버 통신을 위한 별도의 파이프를 제공하며, 여러 파이프를 동시에 사용할 수 있다. 컴퓨터 프로세스끼리 또는 다른 네트워크 상의 컴퓨터와도 통신을 할 수 있다.

메시지 큐

메시지를 큐 데이터 구조 형태로 관리하는 것을 의미한다. 이는 커널의 전역 변수 형태 등 커널에서 전역적으로 관리되며 다른 IPC방식에 비해서 사용방법이 매우 직관적이고 간단하며 다른 코드의 수정 없이 단지 몇 줄의 코드를 추가시켜 간단하게 메시지 큐에 접근할 수 있는 장점이 있다. 공유 메모리를 통해 IPC를 구현할 때 쓰기 및 읽기 빈도가 높으면 동기화 때문에 기능을 구현하는 것이 매우 복잡해지는데, 이때 대안으로 메시지 큐를 사용하기도 한다.

운영체제의 역할

1. CPU 스케줄링과 프로세스 관리 : CPU의 소유권을 어떤 프로세스에 할당할지, 프로세스의 생성과 삭제, 자원 할당 및 반환을 관리
2. 메모리 관리 : 한정된 메모리를 어떤 프로세스에 얼마큼 할당해야 하는지 관리
3. 디스크 파일 관리 : 디스크 파일을 어떠한 방법으로 보관할지 관리
4. I/O 디바이스 관리 : I/O 디바이스들인 마우스, 키보드와 컴퓨터 간에 데이터를 주고받는 것을 관리

컴퓨터 구조 : DMA 컨트롤러, CPU, 메모리, 타이머, 디바이스컨트롤러

DMA 컨트롤러

I/O 디바이스가 메모리에 직접 접근할 수 있도록 하는 하드웨어 장치. CPU에 너무 많은 인터럽트 요청이 들어오기 때문에 CPU 부하를 막아주며 CPU의 일을 부담하는 보조 일꾼이다. 또한 하나의 작업을 CPU와 DMA 컨트롤러가 동시에 하는 것을 방지한다.

메모리

전자회로에서 데이터나 상태, 명령어 등을 기록하는 장치 CPU는 일꾼, 메모리는 작업장이다. 보통 RAM을 일컬어 메모리라고 한다.

타이머

몇 초 안에는 작업이 끝나야 한다는 것을 정하고 특정 프로그램에 시간제한을 다는 역할을 한다.

디바이스 컨트롤러

컴퓨터와 연결되어 있는 IO 디바이스들의 작은 CPU이다.

CPU

산술논리연산장치, 제어장치, 레지스터로 구성되어 있는 컴퓨터 장치를 말하며, 인터럽트에 의해 단순히 메모리에 존재하는 명령어를 해석해서 실행하는 일꾼이다.

제어장치

제어장치는 프로세스를 조작을 지시하는 CPU의 한 부품이다. 입출력 장치 간 통신을 제어하고 명령어들을 읽고 해석하며 데이터 처리를 위한 순서를 결정

레지스터

CPU 안에 있는 매우 빠른 임시 기억장치이다. CPU와 직접 연결되어 있어 연산 속도가 메모리보다 수십 배에서 수백 배까지 빠르다. CPU는 자체적으로 데이터를 저장할 방법이 없기 때문에 레지스터를 거쳐 데이터를 전달한다.

산술논리연산장치

덧셈, 뺄셈 같은 두 숫자의 산술 연산과 배타적 논리합, 논리곱 같은 논리 연산을 계산하는 디지털 회로

CPU의 연산 처리

1. 제어장치가 메모리에 계산할 값을 로드한다. 또한 레지스터에도 로드한다.
2. 제어장치가 레지스터에 있는 값을 계산하라고 산술논리연산장치에 명령한다.
3. 제어장치가 계산된 값을 다시 레지스터에서 메모리로 계산한 값을 지정한다.

인터럽트

어떤 신호가 들어왔을 때 CPU를 잠깐 정지시키는 것을 말한다. 키보드, 마우스 등 IO 디바이스로 인한 인터럽트, 0으로 숫자를 나누는 산술 연산에서의 인터럽트, 프로세스 오류 등으로 발생한다. 인터럽트가 발생하면 인터럽트 핸들러 함수가 모여있는 인터럽트 백터로 가서 인터럽트 핸들러 함수가 실행된다. 인터럽트 간에는 우선순위가 있고 우선순위에 따라 실행되며 인터럽트는 하드웨어 소프트웨어, 인터럽트가 있다.

하드웨어 인터럽트

키보드를 연결하거나 마우스를 연결하는 일 등의 IO 디바이스에서 발생하는 인터럽트

소프트웨어 인터럽트

소프트웨어 인터럽트는 트랩이라고도 한다. 프로세스 오류 등으로 프로세스가 시스템콜을 호출할 때 발동한다.

인터럽트 핸들러 함수

인터럽트가 발생했을 때 이를 핸들링하기 위한 함수, 커널 내부의 IRQ를 통해 호출되며 request_irq()를 통해 인터럽트 핸들러 함수를 등록할 수 있다.

시스템콜

시스템콜이란 운영체재가 커널에 접근하기 위한 인터페이스이며 유저 프로그램이 운영체재의 서비스를 받기 위해 커널 함수를 호출할 때 사용한다. 유저 프로그램이 I/O 요청으로 트랩을 발동하면 올바른 I/O 요청인지 확인한 후 유저 모드가 시스템콜을 통해 커널 모드로 변환되어 실행된다. 예를 들어 I/O 요청인 fs.readFile()이라는 파일 시스템의 파일을 읽는 함수가 발동했다고 가정하면 이때 유저 모드에서 파일을 읽지 않고 커널 모드로 들어가 파일을 읽고 다시 유저 모드로 돌아가 그 뒤에 있는 유저 프로그램의 로직을 수행한다.

이 과정을 통해 컴퓨터 자원에 대한 직접 접근을 차단할 수 있고 프로그램을 다른 프로그램으로부터 보호할 수 있다.

프로세스나 스레드에서 운영체재로 어떠한 요청을 할 때 시스템콜이라는 인터페이스와 커널을 거쳐 운영체재에 전달된다.

modebit

시스템콜이 작동될 때 modebit을 참고해서 유저 모드와 커널 모드를 구분한다. modebit은 1 또는 0의 값을 가지는 플래그 변수이다.

메모리 계층

1. 레지스터 : CPU안에 있는 작은 메모리, 휘발성, 속도 가장 빠름, 기억 용량 가장 적다.
2. 캐시 : L1, L2 캐시를 지칭한다. 휘발성, 속도 빠름, 기억 용량 적다.
3. 주기억장치 : RAM을 가리킨다. 휘발성, 속도 보통, 기억 용량이 보통이다.
4. 보조기억장치 : HDD, SDD을 일컬으며 휘발성, 속도 낮음, 기억 용량 많다.

가상 메모리

메모리 관리 기법의 하나로 컴퓨터가 실제로 이용 가능한 메모리 자원을 추상화하여 이를 사용하는 사용자들에게 매우 큰 메모리로 보이게 만드는 것을 말한다.

가상적으로 주어진 주소를 가상 주소라고 하며, 실제 메모리에 있는 주소를 실제 주소라고 한다. 가상 주소는 메모리 관리 장치(MMU)에 의해 실제 주소로 변환되며, 이 덕분에 사용자는 실제 주소를 의식할 필요 없이 프로그램을 구축할 수 있게 된다.

가상 메모리는 가상 주소와 실제 주소가 매핑되어 있고 프로세스의 주소 정보가 들어 있는 페이지 테이블로 관리된다. 이때 속도 향상을 위해 TLB를 사용한다.

TLB

메모리와 CPU 사이에 있는 주소 변환을 위한 캐시이다. 페이지 테이블에 있는 리스트를 보관하며 CPU가 페이지 테이블까지 가지 않도록 해 속도를 향상할 수 있는 캐시 계층이다.

스와핑

만약 가상 메모리에는 존재하지만 실제 메모리인 RAM에는 현재 없는 데이터나 코드에 접근할 경우 페이지 폴트가 발생한다. 이를 방지하기 위해 당장 사용하지 않는 영역을 하드디스크로 옮겨 필요할 때 다시 RAM으로 불러와 올리고, 사용하지 않으면 다시 하드 디스크로 내림을 반복하여 RAM을 효과적으로 관리하는 것을 스와핑이라고 한다.

페이지

가상 메모리를 사용하는 최소 크기 단위

프레임

실제 메모리를 사용하는 최소 크기 단위

페이지 폴트

프로세스의 주소 공간에는 존재하지만 지금 이 컴퓨터의 RAM에는 없는 데이터에 접근했을 경우에 발생한다.

1. CPU는 물리 메모리를 확인하여 해당 페이지가 없으면 트랩을 발생해서 운영체제에 알린다.
2. 운영체제는 CPU의 동작을 잠시 멈춘다.
3. 운영체제는 페이지 테이블을 확인하여 가상 메모리에 페이지가 존재하는지 확인하고, 없으면 프로세스를 중단하고 현재 물리 메모리에 비어 있는 프레임이 있는지 찾는다. 물리 메모리에 없다면 스와핑이 발동된다.
4. 비어 있는 프레임에 해당 페이지를 로드하고, 페이지 테이블을 최신화한다.
5. 중단되어있던 CPU를 다시 시작한다.

스레싱

메모리의 페이지 폴트율이 높은 것을 의미하며, 이는 컴퓨터의 심각한 성능 저하를 초래한다.

스레싱은 메모리에 너무 많은 프로세스가 동시에 올라가게 되면 스와핑이 많이 일어나서 발생한다. 페이지 폴트가 일어나면 CPU 이용률이 낮아진다. CPU 이용률이 낮아지게 되면 운영체제는 CPU가 한가하다고 생각해 가용성을 더 높이기 위해 더 많은 프로세스를 메모리에 올리게 된다. 이와 같은 악순환이 반복되며 스레싱이 일어난다.

해결하기 위한 방법은 메모리를 늘리거나, HDD에서 SDD로 바꾸거나 운영체제에서는 작업 세트와 PFF가 있다.

작업세트

프로세스의 과거 사용 이력인 지역성을 통해 결정된 페이지 집합을 만들어서 미리 메모리에 로드하는 것이다.

PFF

페이지 폴트 빈도를 조절하는 방법으로 상한선과 하한선을 만드는 방법이다. 상한선에 도달하면 페이지를 늘리고 하한선에 도달하면 페이지를 줄인다.