マイナスが文字化け

ことの起こりは．．．

a-blogというブログ作成パッケージを使って、友人のブログを構築している時のこと。カスタマイズするモジュールがいくつか公開されていて、そのモジュールを処理していると思われるときに、不正な文字があるというメッセージが表示される。
a-blogの他の部分のソースは非公開なので、（どこかに出力されているかもしれない）ログをたよりにプログラムを追いかけるという外科的な診断はできない。カスタマイズの状況をかえながら、発生する現象を観察するという内科的な方法を試みた。カスタマイズ用のモジュールの文字化けが原因とのベンダからのアドバイスをうけて、そのモジュールを Java 5.0 で読み込みコンソールに表示してみた。エディタ（秀丸エディタ 4.14）では普通に表示されている全角マイナスが、コンソールには、? と表示されているではないか。
そういえば、 Unicode とコードページ936 の間で非可換な変換があったなぁ。

表１
UNICODE	名称	シフトＪＩＳ
U+2014	EM DASH	X'3F'
U+2015	HORIZONTAL BAR	X'815C'
U+2016	DOUBLE VERTICAL LINE	X'3F'
U+2212	MINUS SIGN	X'3F'
U+2225	PARALLEL TO	X'8161'
U+301C	WAVE DASH	X'3F'
U+FF0D	FULLWIDTH HYPHEN-MINUS	X'817C'
U+FF5E	FULLWIDTH TILDE	X'8160'

この表は、Unicode で表現された４つの符号が、Shift_JIS の ? に変換されるという説明です。その他の情報は参考までにといった程度。
字形は The Unicode character Code Charts By Script から引用
字形をクリックすると別ウィンドウに拡大されます。

ということで、普段使っているマイナスについて調べてみました。

プログラム TestMinus.java

Microsoft Windows XP Professional 上でかな漢字変換{(IME スタンダード 2003)する際、キーボードのマイナスを押したときに表示される候補のうちの全角のもの（４種）をデータにしました。比較の基準としてプラスを採用しました。こちらは変換の候補は全角と半角１文字ずつでシンプルなものです。

テキストの左からプラス、［全］マイナス、［全］ダッシュ、［全］ハイフン、［全］長音の順。半角のマイナスは対象外です。

念のため入力ファイルをダンプしてみましょう。

［全］ハイフンが 815D （字形については次表）に符号化されています。コードをＥＵＣにしたデータも用意しました。

実行結果は、Shift_JIS と EUC-JP のいずれも下記のようになります。

ラベルの文字は表示されますが、マイナスとダッシュはＤＯＳ画面に ? が表示されます。ＤＯＳ画面の出力をリダイレクトしてダンプをとってみます。

まとめてみましょう。

表２
MSEの呼称	字形	入力	内部コード	出力
［全］プラス	＋	817B	FF0B	817B
［全］マイナス	－	817C	2212	3F
［全］ダッシュ	―	815C	2014	3F
［全］ハイフン	‐	815D	2010	815D
［全］長音	ー	815B	30FC	815B

出力は表１どおりで問題はなさそうです。ここで腰をすえて、ＪＩＳ漢字字典でマイナスに「弁似」している文字をリストアップしました。表３の２から１０の９個です。１１番目は表１からの引き写しです。 Windows Codepage 932 と Windows 932_81 を参照すると、Windows のコードページ 932 では Shift_JIS X'817C' と Unicode U+FF0D とが対応することがわかります。

表３
	字形	名称^注１	区点^注２	ＧＬ^注３	ＧＲ^注４	Shift_JIS	ＵＣＳ	ASCII
1	＋	正符号、加算記号	1-60	215C	A1DC	817B	002B	2B
2	－	負符号、減算記号	1-61	215D	A1DD	817C	2212
3	―	ダッシュ（全角）	1-29	213D	A1BD	815C	2014
4	‐	ハイフン、マイナス	1-2-17	2231	A2B1	81AF	002D	2D
5	ー	長音記号	1-28	213C	A1BC	815B	30FC	B0
6	‐	ハイフン（四分）	1-30	213E	A1BE	815D	2010
7	-	二分ダーシ、ダッシュ（二分）	1-3-92	237C	A3FC	829C	2013
8	─	横細線素片	8-01	2821	A8A1	849F	2500
9	━	横太線素片	8-12	282C	A8AC	84AA	2501
10	-	ソフトハイフン^注５	1-09-09	2929	A9A9	8548	00AD	AD
11	－					817C	FF0D

^注１ JIS X 0213:2000 で定める日本語通用名称
^注２区点または面区点番号。区点番号は JIS X 0208:1997 に収録されている文字、面区点番号は JIS X 0213:2000 に収録されている文字であることを示します。文字集合については講義録8.5に簡単な解説があります。
^注３ＧＬ領域用符号。ISO-2022-JP で採用しています。講義録8.6に簡単な解説があります。
^注４ＧＲ領域用符号。EUC-JP で採用しています。
^注５ソフトハイフンは、行末に現れたときにハイフン（または似た字形の文字）を表示し、それ以外の場所では非表示となります。 JIS X 0213 では常にハイフンとして表示することを許容しています。
^注６ The Unicode character Code Charts By Script から字形を拾いました。クリックすると別ウィンドウで（ちょっとだけ）拡大されます。

このほかにも Unicode の General Panctuation には、u+2011(NON-BREAKING HYPHEN)

、 u+2012(FUGURE DASH)

、 u2015(HORIZONTAL BAR)

がならんでいます。