줄 정렬·중복 제거

셸에서 sort | uniq | grep -v '^$'로 하던 일들을 한데 모았습니다. 알파벳순, 내림차순, 자연 정렬(그래서 'item10'이 'item1' 다음이 아니라 'item2' 다음에 옵니다), 중복 제거(대소문자 구분 여부 선택), 공백 다듬기, 빈 줄 버리기, 결과 뒤집기, 무작위 섞기를 할 수 있습니다. 입력과 출력, 제거된 줄 수를 보여 주므로 무엇이 바뀌었는지 볼 수 있습니다.

알아 둘 값어치가 있는 것은 자연 정렬입니다. 단순한 알파벳순은 숫자를 자릿수 문자열로 다루기 때문입니다. 거기서는 item2가 item10 뒤에 오는데, 비교가 처음 다른 글자에서 멈추고 1이 2보다 앞서기 때문입니다. 자연 정렬은 이어진 숫자를 수로 읽어 사람이 기대하는 순서에 놓으며, 파일 이름이나 버전 문자열, 끝에 번호가 붙는 모든 것에서 중요합니다.

알파벳순도 하나가 아닙니다. 코드포인트로 정렬하면 모든 대문자가 모든 소문자보다 앞서서 Zebra가 apple 위에 놓이고, 악센트가 붙은 글자는 기본 범위 바깥으로 아예 벗어납니다. 로케일을 아는 비교는 대소문자를 합치고 é를 e 옆에 두는데, 그것이 독자가 기대하는 바이고 소박한 정렬이 하지 않는 일입니다. 여기의 대소문자 무시 토글이 그중 앞쪽 절반을 다룹니다.

중복 제거는 처음 나온 것을 남기고 정렬보다 먼저 실행되므로, 입력 순서가 어느 중복이 살아남을지를 정합니다. 줄이 똑같을 때는 보이지 않지만 대소문자나 끝 공백에서만 다를 때는 중요해집니다. 중복 제거 전에 다듬으면 foo와 foo 가 한 항목으로 합쳐지고, 순서를 반대로 하면 둘 다 남습니다. 연산 순서가 실제로 일을 하고 있습니다.

읽어야 할 부분은 개수입니다. 예상보다 훨씬 많은 줄이 제거됐다면 대개 공백이나 대소문자가 몰랐던 중복을 가리고 있었다는 뜻이고, 있을 줄 알았는데 하나도 제거되지 않았다면 그 반대입니다.