단어 빈도 카운터

아무 텍스트나 붙여 넣으면 유니코드를 인식하는 방식으로 토큰을 나눠(그래서 비라틴 문자도 처리합니다) 모든 낱말을 세고, 빈도순 상위 N개를 행마다 막대와 함께 보여 줍니다. 불용어 제거를 켜면 영어에서 가장 흔한 기능어 100여 개(the, a, of, to 등)를 걸러 냅니다. SEO 키워드 밀도, 콘텐츠 분석, 글 다듬기, 자기 글에서 과하게 쓴 낱말 찾기에 씁니다.

불용어를 빼지 않으면 목록은 매번 똑같습니다. 영어는 기능어가 지배하기 때문입니다. the 하나가 평범한 산문의 7퍼센트쯤이고 상위 열 개 낱말이 대략 4분의 1을 차지합니다. 이것은 여러분의 글이 아니라 언어의 성질이며, 그래서 불용어를 걷어 내야 이 툴이 실제로 쓴 내용에 대해 무언가를 말하게 됩니다.

공백과 문장부호로 토큰을 나누는 것은 올바른 기본값이고 알려진 한계가 있습니다. 굴절형이 따로 세어지므로 run, runs, running은 하나가 아니라 세 항목이고, 덩어리로 의미를 갖는 구절은 조각으로 나뉩니다. 붙임표로 이은 복합어와 소유격은 규칙에 따라 이쪽이나 저쪽에 놓이며, 낱말 사이에 공백을 두지 않는 언어들, 그중 중국어와 일본어에서는 글자 단위나 덩어리 단위로 세는 것이 애초에 낱말을 세는 일과 같지 않습니다.

SEO 지표로서의 키워드 밀도는 의심하며 다룰 값어치가 있습니다. 이십 년 전에는 실제 순위 요소였지만 오래전에 아니게 됐습니다. 검색 엔진은 반복이 아니라 의미를 맞추며, 어떤 비율을 맞추려고 쓴 페이지는 사람에게 더 못 읽히고 크롤러에게 더 낫지도 않습니다. 이 목록의 쓸모 있는 독법은 반대쪽입니다. 기대지 않으려 했던 낱말이 상위에 보이는 것이 여러분 문장에 대한 신호입니다.

계수는 대소문자를 합치고 문장부호를 떼어 내므로 The와 the는 한 항목입니다. 그 구분에 기대는 것, 이를테면 보통명사이기도 한 고유명사 같은 것에는 다른 도구가 필요합니다.