文字数カウント

「1文字」とは何か

「これは何文字ですか」という問いには、正解が複数あります。そしてその違いは些細ではありません。コンピュータが数えられる階層は3つあります。

• コード単位——テキストが格納されている形。JavaScript の string.length が返す値です。絵文字は複数単位になることがあります。
• コードポイント——Unicode 規格上の1項目です。こちらのほうがましですが、結合文字を伴う文字は依然として2つに数えられます。
• 書記素クラスタ——読み手が「1文字」と呼ぶ単位です。上に大きく出ている文字数はこれを数えています。

「か」＋結合濁点の行が、日本語で最も引っかかる形です。表示は「が」1文字なのに、記憶上は2つ。Mac のファイル名からコピーした文字列や、古いシステムから書き出したデータはこの形になっていることがあり、同じ文章なのに貼り付け元によって文字数が変わります。

家族の絵文字は1文字・5コードポイント・8コード単位で、1つの絵に対して8倍の開きがあります。手元のカウンタでは収まっているのにフォームが弾く場合、理由はたいていこれです。フォームは記憶上の長さを数えていて、あなたは見た目の文字数を数えています。

全角の数え方

日本語のフォームは、全角文字——かな・漢字・全角記号——を2、半角文字を1として数えることがよくあります。下の表の「幅」がその数え方で、最後の列は、その方式の「100文字まで」に実際どれだけ入るかです。

つまり「100文字」の欄に入るのは、日本語なら50文字、半角英数なら100文字です。IME が出す全角英数は漢字と同じコストなので、ＡＢＣは弾かれてABCは通る、ということが起きます。半角カナは逆で、日本語に見えて英数と同じ1で数えられます。

このツールが幅と文字数を両方出しているのは、必要なのがたいてい両方だからです。片方はフォームが数えている値で、もう片方はあなたが書いた量です。

フォームに「長すぎる」と言われたら

解決の早い順に3つ確認してください。

文字数ではなく幅を見る。日本語のサービスのフォームに日本語を入れているなら、制限はほぼ確実に幅で、実際の許容量は表示の半分です。比べるべきは上の表の「幅」の列です。

絵文字を探す。記憶上の長さで数えるフォームにとって、家族の絵文字は1ではなく8です。絵文字をいくつか消すほうが、一文まるごと削るより多くの余地を生むことがあります。締切直前に発見したい事実ではありません。

濁点・アクセント付きの語を打ち直す。ファイル名やPDF、古いシステムから貼り付けた文字列は結合文字を含むことがあり、見えないところで1文字ぶん余計に消費します。打ち直せば正規化されます。

3つとも当てはまらない場合、フォームは自分で何かを付け足してから数えている可能性が高い——署名、トラッキング用の接尾辞、展開されたリンクなど——ので、手元のカウンタからは見えません。

区切りのない言語の単語数

単語数を数えるのは、空白で語を区切る言語では簡単で、そうでない言語では完璧には不可能です。日本語を空白で分割すると1単語しか返ってきません。本格的な形態素解析には辞書が必要で、ブラウザ内で完結させるツールが背負うには重すぎます。

そこで採った折衷案が、CJK の文字をそれぞれ1単語として数え、残りを通常どおり分割して足すというものです。「API を使う」なら4になります。形態素解析器と一致はしませんが、安定していて予測可能で、分量の見積もりには十分です。

意識すべき文字数制限

検索エンジンは文字数ではなくピクセル幅で切り詰めるため、幅の広い文字が並ぶタイトルは早く切られます。60文字は目安であって、厳密な境界ではありません。

頻出語の一覧について

「よく出てくる語」のパネルは、書いている最中には見えない癖を捕まえる手早い方法です。ひとつの語だけが突出して多い場合、その文章はたいてい同じことを繰り返しているか、言いたいことにまだ到達できずに周回しています。3文字未満の語は除外しています。そうしないと助詞や冠詞で一覧が埋まってしまうためです。