2018年5月 – igreks開発日記

エクセルの仕様なのか、何も考えずにUTF-8のファイルエクセルで開くと、標準文字コードで開くため、だいたいの確率で文字化けします。

ちなみにShift JISであれば、問題なく開けます。

対策としては、適当なテキストエディタなどで開いて、UTF-8(BOM付き)で一度保存すれば、次からはエクセルでも文字化けせず問題なく開くことが出来ます。

このことから、コンテンツの最初にBOMをつけてやれば、ダウンロード後すぐにエクセルで文字化けなく開くことが出来ます。

動的出力するCSVファイルであれば、対策は簡単です。以下はPerlでの例です。

# このファイルはUTF-8で作成

# CSVのコンテンツ作成
my $csv = "aaa, bbb,ccc, あいうえお, 아이우에오";

# 先頭にBOMを追加
$csv = "\xEF\xBB\xBF" .$csv;

# 出力
print <<EOM;
Content-Type: application/octet-stream
Content-Disposition: attachment; filename=hoge.csv

$csv
EOM

# このファイルはUTF-8で作成

# CSVのコンテンツ作成

my $csv = "aaa, bbb,ccc, あいうえお, 아이우에오";

# 先頭にBOMを追加

$csv = "\xEF\xBB\xBF" .$csv;

# 出力

print <<EOM;

Content-Type: application/octet-stream

Content-Disposition: attachment; filename=hoge.csv

$csv

EOM

たったこれだけです。

なお、他サイトなどで、BOMは”0xFE 0xFF”などと紹介しているところがありますが、”0xFE 0xFF”はUTF-16のBEエイディアンのBOMであり、UTF-8のBOMは”0xEF 0xBB 0xBF”ですのでご注意ください。

テキストエディタだと”0xFE 0xFF”をつけてもちゃんと解釈してくれることがありますが、エクセルの場合は”0xEF 0xBB 0xBF”を付けないとダメ見たいです。

参考サイト）

あるメール配信で配信エラーになった場合に、相手先からどのようなエラーコードとバナーが返却されているかを調べるときに便利。

ちなみに、postfixのログは、一行ごとに、

日付 時刻 ホスト名  postfix/プロセス名[プロセスID]: キューID: 処理・・・

1	日付時刻ホスト名 postfix/プロセス名[プロセスID]: キューID: 処理・・・

といった構造で書かれる。同じキューIDのログを調べれば、一通のメールの一連の動きを追うことが出来る。

直近の”to@hoge.com”宛てのメールのキューIDを取得するシェルスクリプト

#!/bin/bash

# メールログの場所
MAILLOG_PATH='/var/log/maillog'
# 宛て先でgrepして、sedでキューIDを抽出
qid=`cat "$MAILLOG_PATH" | grep -Eo "\[[0-9]+\]\: [A-Z0-9]+\:.*?to=<to\@hoge\.com>" | tail -1 | sed -r "s/^\[[0-9]+\]\: ([A-Z0-9]+)\:.*?$/\1/"`
# 抽出したキューIDで再検索
logs=`cat "$MAILLOG_PATH" | grep $qid`

echo $logs

#!/bin/bash

# メールログの場所

MAILLOG_PATH='/var/log/maillog'

# 宛て先でgrepして、sedでキューIDを抽出

qid=`cat "$MAILLOG_PATH" | grep -Eo "\[[0-9]+\]\: [A-Z0-9]+\:.*?to=<to\@hoge\.com>" | tail -1 | sed -r "s/^\[[0-9]+\]\: ([A-Z0-9]+)\:.*?$/\1/"`

# 抽出したキューIDで再検索

logs=`cat "$MAILLOG_PATH" | grep $qid`

echo $logs

結果

May  8 19:**:** *** postfix/pickup[32062]: D361640567: uid=48 from=<from@fuga.com>
May  8 19:**:** *** postfix/cleanup[32321]: D361640567: message-id=<20180508******.D361640567@fuga.com>
May  8 19:**:** *** postfix/qmgr[1849]: D361640567: from=<from@fuga.com>, size=1098, nrcpt=1 (queue active)
May  8 19:**:** *** postfix/smtp[32324]: D361640567: to=<to@hoge.com>, relay=***.***.com[***.**.**.**]:25, delay=0.2, delays=0.06/0/0.03/0.12, dsn=5.0.0, status=bounced (host ***.***.com[***.**.**.**] said: 550 Invalid recipient: <to@hoge.com> (in reply to RCPT TO command))
May  8 19:**:** *** postfix/bounce[32332]: D361640567: sender non-delivery notification: 1145640568
May  8 19:**:** *** postfix/qmgr[1849]: D361640567: removed

May 8 19:**:** *** postfix/pickup[32062]: D361640567: uid=48 from=<from@fuga.com>

May 8 19:**:** *** postfix/cleanup[32321]: D361640567: message-id=<20180508******.D361640567@fuga.com>

May 8 19:**:** *** postfix/qmgr[1849]: D361640567: from=<from@fuga.com>, size=1098, nrcpt=1 (queue active)

May 8 19:**:** *** postfix/smtp[32324]: D361640567: to=<to@hoge.com>, relay=***.***.com[***.**.**.**]:25, delay=0.2, delays=0.06/0/0.03/0.12, dsn=5.0.0, status=bounced (host ***.***.com[***.**.**.**] said: 550 Invalid recipient: <to@hoge.com> (in reply to RCPT TO command))

May 8 19:**:** *** postfix/bounce[32332]: D361640567: sender non-delivery notification: 1145640568

May 8 19:**:** *** postfix/qmgr[1849]: D361640567: removed

ちなみに上記は「said: 550 Invalid recipient: <to@hoge.com>」と返ってきているので、メールを送ったこのユーザ(to@hoge.com>)は存在しなかったということになる。

ちなみに理想としては、エンベロープFROMに、宛て先と送信するたびの履歴番号など、特定の情報を仕込んでおくと、時系列で探しやすい。

sendmail使うなら、

echo -e "To: to@hoge.com\nFrom: from@fuga.com\nSubject: Hello world.\n\nHello world." | /usr/sbin/sendmail -t -f to=hoge.com-001@fuga.com

1	echo -e "To: to@hoge.com\nFrom: from@fuga.com\nSubject: Hello world.\n\nHello world." \| /usr/sbin/sendmail -t -f to=hoge.com-001@fuga.com

とかしておくとよい。(この場合「to=hoge.com-001@fuga.com」がエンベロープFROM)

そうしておけば、何回も同じ宛先に送っている場合でも、下記のように目的のキューIDを探しやすくなる。

　：
# 宛て先でgrepして、sedでキューIDを抽出
qid=`cat "$MAILLOG_PATH" | grep -Eo "\[[0-9]+\]\: [A-Z0-9]+\:.*?from=<to=hoge\.com\-001\@" | head -1 | sed -r "s/^\[[0-9]+\]\: ([A-Z0-9]+)\:.*?$/\1/"`
　：

　：

# 宛て先でgrepして、sedでキューIDを抽出

qid=`cat "$MAILLOG_PATH" | grep -Eo "\[[0-9]+\]\: [A-Z0-9]+\:.*?from=<to=hoge\.com\-001\@" | head -1 | sed -r "s/^\[[0-9]+\]\: ([A-Z0-9]+)\:.*?$/\1/"`

　：

なおヘッダーFROMをいくらいじっても、基本的にはメールログには記録されない。（ログレベルを上げればできるかも。この辺は調べてない。）

参考サイト）

月別: 2018年5月

UTF-8のCSVファイルを文字化けなくエクセルで開く

Postfixのメールログで特定のキューIDを抽出する