개요

이진 정보를 표현하기 위해 널리 쓰이는 인코딩 방식 base64와 base64url의 동작원리를 설명한다.

진법 체계에 따른 이진 정보 표현의 차이

컴퓨터는 모든 정보를 0과 1로 구성된 이진 정보로 기억하고, 이진법 (base-2) 체계 하에 처리한다. 일반적으로, 이진 정보 표현을 위한 문자의 가짓수가 많아질수록, 표현되는 정보의 밀집성이 높아진다.

8진법과 16진법을 통한 이진 정보 표현을 통해 이 사실을 이해해보자.

• 1비트씩 그대로 표현하는 2진법 (base-2)는 0과 1 (2가지 문자)를 사용한다.
• 2비트씩 모아서 표현하는 8진법 (base-8)은 0~7 (8가지 문자)를 사용한다.
• 4비트씩 모아서 표현하는 16진법 (base-16)은 09, AF (16가지 문자)를 사용한다.

똑같은 이진 정보를 2진법, 8진법 그리고 16진법으로 표현하면 아래와 같다.

base-2:  0101000010100100
base-8:  50244
base-16: 50a4

셋 중에서는 16진법이 읽기에도 빠르고 기억하기 쉬울 것이다.

64진법 기반 표현 체계 base64

base64는 64가지 문자를 통해 이진 정보를 표현하여 밀집성을 극대화하면서도, 인터넷상에서 쉽게 전달될 수 있도록 고안된 64진법 (base-64) 표현 체계이다.

사용되는 문자: ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/ 및 패딩 문자 =

국제 인터넷 표준화 기구(IETF)에서 관리하는 표준 중 하나인 RFC 4648에서는 인터넷상에서 사용하기 위한 진법 체계를 정의하는데, base64가 그 중 하나이다. base64에 쓰이는 문자들은 모두 ASCII 문자들인데, 이는 base64로 인코딩된 텍스트를 다른 컴퓨터에 표시할 때 동일한 문자와 내용이 표시되도록 보장해준다. 또한, ASCII 문자들은 키보드를 통해 쉽게 입력 가능하기 때문에 사람이 직접 다루기 용이하다. 이런 장점들 덕분에, base64는 네트워크상에서의 이진 정보 전송을 위한 인코딩으로써 폭넓게 쓰이고 있다.

base64는 옥텟(8비트)으로만 모인 이진 정보를 위해 고안되었다. base64는 이 옥텟 데이터들을 6비트씩 쪼개어 base64 문자에 대입시켜 표현한다. 이것이 base64 인코드의 핵심 원리이다.

base64의 파생 표현 체계 base64url

base64의 원리를 기반으로 하는 base64url은 인코딩된 문자열이 URL 안에서도 있는 그대로 표현될 수 있도록 개선된 진법 체계이다.

사용되는 문자: ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789-_ 및 패딩 문자 =

base64의 +, /, = 문자는 RFC 3986를 통해 정의되는 URL 예약 문자들이라서, URL에 사용할 때에는 바로 넣으면 안되고 "%2B", "%2F", "%3D"로 각각 미리 변환해야 한다. 그리고 base64는 문자열을 인코딩할 때 패딩이 발생하였다면, 패딩 문자("=")를 누락해서는 안 된다.

이러한 base64의 단점들을 개선하여, base64url은 URL 예약 문자가 아닌 다른 특수문자를 사용한다. 또한 패딩 문자("=") 누락을 허용한다.

원문 텍스트와 base64, base64url의 인코딩 결과물을 비교하면 아래와 같다.

원문:       안녕하세요. Lorem Ipsum 99 📙📙📙
base64:    7JWI64WV7ZWY7IS47JqULiBMb3JlbSBJcHN1bSA5OSDwn5OZ8J+TmfCfk5k=
base64url: 7JWI64WV7ZWY7IS47JqULiBMb3JlbSBJcHN1bSA5OSDwn5OZ8J-TmfCfk5k

이처럼, base64url는 base64와 유사하면서도 더 많은 환경에 호환될 수 있는 인코딩이다. base64url 인코딩 방식은 base64와 마찬가지로 RFC 4648 표준에서 정의된다.

base64 인코드 절차

base64는 옥텟(8비트) 데이터들을 6비트씩 쪼갠 후 base64 문자에 대입시켜 표현한다고 앞서 설명했다.

예시로, 2옥텟(16비트) 정보를 base64로 인코드한다고 가정해보자.

이 16개의 비트를 6비트씩으로 쪼개면, 남겨지는 4비트가 생길 것이다. 6비트 길이보다 모자란 비트수만큼 "0" 비트를 임의로 오른쪽에 추가해야 한다. 2개의 "0" 비트를 추가하면 6의 배수인 18비트 길이가 총족될 수 있다. 이 과정을 패딩("Padding")이라고 한다.

6비트로 모인 이진 정보들은 base64 문자로 치환된다.

 Value Encoding  Value Encoding  Value Encoding  Value Encoding
         0 A            17 R            34 i            51 z
         1 B            18 S            35 j            52 0
         2 C            19 T            36 k            53 1
         3 D            20 U            37 l            54 2
         4 E            21 V            38 m            55 3
         5 F            22 W            39 n            56 4
         6 G            23 X            40 o            57 5
         7 H            24 Y            41 p            58 6
         8 I            25 Z            42 q            59 7
         9 J            26 a            43 r            60 8
        10 K            27 b            44 s            61 9
        11 L            28 c            45 t            62 +
        12 M            29 d            46 u            63 /
        13 N            30 e            47 v
        14 O            31 f            48 w         (pad) =
        15 P            32 g            49 x
        16 Q            33 h            50 y

위 표는 base64 변환표를 10진수로 표현한 것이다. 예를 들어, 6비트로 쪼개진 값이 10진수 0이면 "A", 10진수 63이면 "/".

비트에 대한 문자열 치환이 끝나면, 패딩 과정에서 추가된 비트가 몇 개인지 명시하는 패딩 문자 "="를 추가한다. 패딩으로 추가된 "0" 비트 개수가 2개면 "=", 4개면 "=="를 문자열 오른쪽 끝에 붙여 인코드를 끝낸다.

base64 디코드 절차

디코드에서는 인코드의 반대로, 6비트로 쪼갰던 이진 정보를 다시 옥텟(8비트) 데이터들로 변환한다.

먼저, base64로 인코드된 문자열에서 "="를 제외시킨 후, base64 문자를 이진 정보로 치환한다. 그리고 이진 정보의 비트 길이가 8의 배수이도록 오른쪽 비트를 제거하여 디코드를 완료한다. 앞선 예시에서는 2옥텟(16비트) 원본 데이터에 "0" 2비트를 패딩으로 추가했으므로 총 18비트일 것이다. 18비트를 8의 배수이도록 길이를 맞추기 위해 오른쪽의 2비트를 버리면, 원본 이진 정보와 동일한 2옥텟(16비트)이 도출된다.

패딩의 역할

base64 인코딩은 옥텟(8비트)들을 6비트씩 나누게 된다. 만약 이진 정보의 비트 길이가 24비트나 96비트와 같이 6과 8의 공배수라면 패딩이 발생하지 않는다. 그 외에 경우에는 6비트 길이를 맞추기 위한 패딩이 추가된다. 이러한 인코드 및 디코드 과정 속에서 비트 "0"는 비트 길이를 맞추기 위해 추가되며, 인코딩된 문자열에 붙는 "="는 "0" 비트가 추가된 횟수임을 알 수 있다.

한편, "="의 개수를 통해 이진 정보에 몇 개의 "0" 패딩 비트가 존재해야 하는지를 역으로 파악할 수도 있다. 즉, 인코딩된 문자열의 이진 정보가 "=" 개수와 상충되는지 검증하는 것이 가능하다. 그런데 이에 대해서는 프로그래밍 언어별 base64 디코더 구현체마다 검증 여부가 서로 다른 상황이다. 만약 패딩을 완전히 무시한 채로 디코드하면, '인코드된 문자열은 다르지만 디코드되었을 때 결과가 같도록' 악의적으로 제작된 base64 문자열을 허용하게 되는데, 이는 잠재적인 보안 위협으로 이어질 수도 있다 [1].

따라서, base64로 인코드된 문자열에 대해 엄격한 비교를 실시하는 로직을 구현해야 한다면, 일반적으로는 인코딩 문자열 자체에 대한 검증이 반드시 함께 이루어져야 한다. 다만 인코드된 문자열에 대해 별도의 비교 로직이 없는 동시에 디코드된 데이터에 대해서만 처리하는 로직을 구현해야 한다면, 패딩을 통한 데이터 검증이 필수가 아니라고 볼 수 있을 것이다.

결론

base64와 base64url은 모두 IETF 인터넷 표준을 통해 정의되는 인코딩이다. 두 인코딩의 차이점과 동작원리를 이해한다면, 상황에 따라 적절한 인코딩을 선택하는 데 도움이 될 것이다.

Reference

[1] Konstantinos Chalkias and Panagiotis Chatzigiannis. 2022. Base64 Malleability in Practice. In Proceedings of the 2022 ACM on Asia Conference on Computer and Communications Security (ASIA CCS '22). Association for Computing Machinery, New York, NY, USA, 1219–1221. https://doi.org/10.1145/3488932.3527284

RFC 4648 Simon Josefsson. 2006. The Base16, Base32, and Base64 Data Encodings https://doi.org/10.17487/RFC4648