텍스트 속 보이지 않는 문자

01검사 도구가 보고하는 종류

각 결과는 코드 포인트와 유니코드 이름을 함께 표시하므로 추측이 끼어들지 않습니다.

• 폭 없는 공백, 비결합자, 결합자, 단어 결합자(U+200B–U+200D, U+2060).
• 문서 중간에 나타나는 바이트 순서 표식(U+FEFF).
• 양방향 제어 문자: 표식, 임베딩, 오버라이드, 아이솔레이트.
• 태그 문자(U+E0000 블록). 숨은 메시지 전체를 담을 수 있습니다.
• 이형 선택자, 사용자 영역 코드 포인트, 비문자, 기본 무시 예약 코드 포인트.
• 줄바꿈 없는 공백, 좁은 줄바꿈 없는 공백, 전각 공백 같은 공백 동형이의 문자.

02실제로 문제가 되는 이유

식별자 안의 폭 없는 공백은 눈에 보이는 이유 없이 검색을 실패하게 만듭니다. CSV 열의 좁은 줄바꿈 없는 공백은 숫자 파싱을 깨뜨립니다. 양방향 오버라이드는 파일 이름을 저장된 순서와 다르게 표시할 수 있습니다.

이는 텍스트 위생 관리입니다. 탐지기 점수를 바꾸는 방법이 아니며, MetadataRemover.cc도 그렇게 주장하지 않습니다.

03일부러 남기는 것

무턱대고 지우면 정상적인 다국어 텍스트가 망가지므로, 실제 역할이 있는 보이지 않는 문자는 남깁니다.

• 같은 문자 체계의 글자 사이에서 정서법상 필요한 폭 없는 결합자·비결합자.
• 이모지 결합: 합성 이모지 안의 결합자와 표시 형태를 정하는 이형 선택자.
• 지역 세부 구역 깃발을 이루는 완전한 태그 시퀀스.
• 몽골 문자 자유 이형 선택자, 크메르 고유 모음, 자기 자모 뒤의 한글 채움 문자.
• 방향 표식과 아이솔레이트, 그리고 올바르게 짝지어진 임베딩. 우에서 좌로 쓰는 글에 필요합니다.

04이 버전의 텍스트 처리 방식

특수 공백은 일반 공백으로 정규화합니다. 지원되는 문자 체계와 이모지에 필요한 문자는 문맥에 따라 보존합니다. 이 화면에는 방향 제어 문자나 모양이 비슷한 글자를 위한 고급 설정이 없습니다. 공백이 조판이나 데이터 처리에 필요할 수 있으니 정리된 텍스트를 확인하세요.