テキストの中の不可視文字

01検査ツールが報告する種類

各検出はコードポイントと Unicode 名を示すため、推測は入りません。

• ゼロ幅スペース、非結合子、結合子、ワードジョイナー（U+200B–U+200D、U+2060）。
• 文書の途中に現れるバイト順マーク（U+FEFF）。
• 双方向制御文字: マーク、埋め込み、上書き、分離。
• タグ文字（U+E0000 ブロック）。隠しメッセージをまるごと運べます。
• 異体字セレクタ、私用領域のコードポイント、非文字、既定で無視される予約コードポイント。
• ノーブレークスペース、狭いノーブレークスペース、全角スペースなどの空白同形異字。

02実務で問題になる理由

識別子の中にゼロ幅スペースがあると、見た目に理由がないまま検索が失敗します。CSV の列に狭いノーブレークスペースが入ると数値の解析が壊れます。双方向の上書きがあると、保存された順序と違う並びでファイル名が表示されることがあります。

これはテキストの衛生管理です。検出ツールのスコアを変える手段ではなく、MetadataRemover.cc もそのような主張はしません。

03意図的に残すもの

単純に消すと正当な多言語テキストが壊れるため、実際に役割を持つ不可視文字は残します。

• 同じ文字体系の文字間にあり、正書法上必要なゼロ幅結合子・非結合子。
• 絵文字の接着: 合成絵文字内の結合子と、表示形を決める異体字セレクタ。
• 地域細分の旗を構成する完全なタグ列。
• モンゴル語の自由異体字セレクタ、クメール語の固有母音、自身の字母に続くハングル・フィラー。
• 方向マークと分離、および正しく対になった埋め込み。右から左に書く文章に必要です。

04このバージョンでの文字の扱い

特殊な空白は通常のスペースに正規化します。対応する文字体系や絵文字に必要な文字は、前後の文脈に応じて残します。この画面には、方向制御文字や見た目が似た文字の高度な設定はありません。空白が組版やデータ処理で意味を持つ場合もあるため、処理後の文章を確認してください。