글자 빈도 분석기

아무 텍스트나 붙여 넣으면 문자별 히스토그램을 보여 줍니다. 각 행에 개수, 백분율, 막대가 나옵니다. 포함할 문자 종류(글자, 숫자, 공백, 문장부호, 그 밖의 유니코드)를 토글할 수 있고 대소문자 통합도 선택입니다. 글자를 켜면 표준 영어 글자 분포(E 12.7%, T 9.1%, A 8.2% 등)와 나란히 비교해 줍니다. 고전 암호 해독, 언어 식별, 글꼴 커버리지 계획, 또는 그냥 호기심에 씁니다.

영어 기준 분포는 평범한 산문의 큰 말뭉치에서 나온 것이고, 바로 그 전제를 지켜봐야 합니다. 기술 문서, 이름 목록, 소스 코드, 전문 용어가 빽빽한 글은 그 분포에서 충분히 벗어나 비교가 별 뜻을 갖지 못하게 되며, 짧은 표본은 우연만으로도 벗어납니다. 빈도 기반 해독은 흔한 글자들의 순서가 자리 잡기까지 최소 수백 글자를 원합니다.

그 비교가 치환 암호에 대한 고전적 공격이며, 단일 알파벳 치환은 봉우리의 위치만 옮기고 높이는 바꾸지 않기 때문에 통합니다. 분포를 평평하게 만드는 것에는 무력합니다. 키 길이를 모르는 비제네르 암호, 흔한 글자에 여러 기호를 배정하는 동음 이철 암호, 그리고 모든 현대 암호가 그렇습니다. 현대 암호의 출력은 바로 이 검사로는 난수와 구분되지 않습니다.

계수는 글리프가 아니라 유니코드 코드포인트 단위입니다. 기본 글자에 결합 기호를 더해 입력한 악센트 글자는 두 항목으로 세어 양쪽에 놓이고, 같은 글자를 미리 조합된 단일 코드포인트로 입력하면 하나로 셉니다. 그래서 보기에 똑같은 두 텍스트가 서로 다른 표를 만들 수 있습니다. 입력을 먼저 정규화하는 것이 해법입니다. 여러 코드포인트로 이루어진 이모지도 같은 식으로 갈라집니다.

문자 종류는 의식적으로 꺼 볼 값어치가 있습니다. 공백을 남겨 두면 거의 모든 텍스트에서 띄어쓰기가 맨 위에 올라와, 정작 보려던 글자들을 밀어냅니다.