• supervise
• デーモンの起動、監視
• svc
• superviseによって監視されているデーモンの制御
• svstat
• 指定したデーモンの状態を出力
• setuidgid
• ユーザIDとグループIDを変更
• multilog
• デーモンプログラムの出力をロギング

インストール

デーモンの登録

$ mkdir /var/daemon
$ mkdir /var/daemon/log
$ mkdir /var/daemon/log/main
$ chmod 1755 /var/daemon
$ chmod +x /var/daemon/run
$ chmod +x /var/daemon/log/run
$ chown hoge:fuga /var/daemon/log/main
$ ln -s /var/daemon /service

/var/daemon/run

#!/bin/sh
exec 2>&1 # エラー出力を標準出力へ
exec setuidgid hoge /usr/bin/daemon

/var/daemon/log/run

#!/bin/sh
exec 2>&1 # エラー出力を標準出力へ
exec setuidgid hoge multilog t ./main

デーモンの起動制御

$ sh -c 'svscan /service &'

SV:123456:respawn:/command/svscanboot      

svcでデーモンに命令を発行する

$ svc -u /service/daemon # 起動
$ svc -d /service/daemon # 一時停止
$ svc -t /service/daemon # 再起動
               ・
               ・
               ・

svstatで状態確認

$ svsat /service/daemon # 起動中
/service/daemon: up (pid 8131) 3 seconds
$ svsat /service/daemon # 停止中
/service/daemon: down (pid 8131) 57 seconds, normally up

ロギング

$ tai64nlocal < /service/daemon/log/main/current

デーモンが正常に動作しない場合の対処法

デーモンがゾンビプロセス化

superviseがエラーを吐く

supervise: fatal: unable to acquire daemon/supervise/lock: temporary failure

rm /var/daemon/supervise/lock
rm /var/daemon/log/supervise/lock
rm /var/daemon/log/main/lock

supervise(もしくはsvscan)自体が異常終了した場合に
↓
操作ミスなどによりsupervise(もしくはsvscan)自体が異常終了した場合に

フォト蔵におけるdaemontoolsの活用例

参考ページ

• daemontools howto
• daemontools
• daemontools日本語訳
• Tip COllection - daemontools

• パソナテック第1回シリコンバレーツアーPhotoレポート(gihyo.jp)
• シリコンバレーツアーで印象に残った３つのこと(あすなろカウンセラーBlogger)
• 二人で始めた会社が従業員数20万の企業に：ヒューレット・パッカード(世界を巡るFool on the web)
• シリコンバレーで働くということ(livedoorディレクターBlog)
• 高級住宅地のど真ん中　HP発祥のガレージを見てきた(ITmedia)

演算

#!/bin/sh
A=1
B=2
C=`expr ${A} + ${B}`
echo ${C}

$ sh test.sh
3
$

#!/bin/sh
A=1
B=2
C=`expr ${A}+${B}`
echo ${C}

浮動小数演算

#!/bin/sh
SRC_SIZE=100
COMPRESSED_SIZE=15
COMPRESSIBILITY=`echo "${SRC_SIZE} / ${COMPRESSED_SIZE}" | bc -l`
echo ${COMPRESSIBILITY}"%"

$ sh compressibility.sh
6.66666666666666666666%
$

#!/bin/sh
SRC_SIZE=100
COMPRESSED_SIZE=15
COMPRESSIBILITY=`echo "scale=2;${SRC_SIZE} / ${COMPRESSED_SIZE}" | bc -l `
echo ${COMPRESSIBILITY}"%"

$ sh compressibility.sh
6.66%
$

分岐

#!/bin/sh
TEST_FILE=/home/bokko/test.txt
if [ -e ${TEST_FILE} ]
then
    rm ${TEST_FILE}
    echo "removed "${TEST_FILE}
else
    echo ${TEST_FILE}" is not existed."
fi

繰り返し

#!bin/sh
for srcname in `find /home/bokko/programming/c | egrep '.+\.c$'`;do
    case `basename $srcname` in
        a.c | b.c | c.c) ;; # exclude
	*)
	    # C言語のソースファイルに何かする
    esac
done

パイプ

bokko
bokkko
bokkkko
bokko
bokkko
bokko
bokko
bokko
bokkko
bokkko
bokkko
bokkko
bokkko
bokko
bokkko
bokko
bokko
bokkkko
bokkko
bokkko
bokko
bokko
bokkkko
bokko

$ sort bokko.txt | uniq
bokkkko
bokkko
bokko
$

$ sort bokko.txt | uniq -c
      3 bokkkko
     10 bokkko
     11 bokko
$

sed

$ cat bokko.txt | sed -e 's/bok\+o/bokko/g' | uniq
bokko
$

awk

BEGIN {
    cnt["bokko"] = 0;
    cnt["bokkko"] = 0;
    cnt["bokkkko"] = 0;
}
/^bokko$/ {
    cnt["bokko"]++;
}
/^bokkko$/ {
    cnt["bokkko"]++;
}
/^bokkkko$/ {
    cnt["bokkkko"]++;
}
END {
    print "bokko:" cnt["bokko"];
    print "bokkko:" cnt["bokkko"];
    print "bokkkko:" cnt["bokkkko"];
}

$ cat bokko.txt | awk -f sort_uniq.awk
bokko:11
bokkko:10
bokkkko:3
$

$ du -b test.txt
101     test.txt
$

$ du -b test.txt | awk '{ print $1 }'  
101
$

$ du -b test.txt | awk '{ print $2 }'  
test.txt
$

JavaScriptやCSSの縮小結果を表示する

$ js_minify.sh slider.js
minified:                               slider.js  10354bytes ->   7631bytes reduction percentage:26.30%
$ js_minify.sh slider.js check.js  prototype.js
minified:                               slider.js  10354bytes ->   7631bytes reduction percentage:26.30%
minified:                                check.js   3364bytes ->   2448bytes reduction percentage:27.23%
minified:                            prototype.js  96653bytes ->  72255bytes reduction percentage:25.24%
$ 

#!/bin/sh
HOME_DIR=/home/${USER}/jsdir # 任意のパラメータ
JS_SRC_DIR=${HOME_DIR}/jssrc # 任意のパラメータ
JS_MINIFIED_DIR=${HOME_DIR}/minifiedjs # 任意のパラメータ
JSMIN_DIR=/home/${USER}/bin # 任意のパラメータ
TOTAL_SRC_SIZE=0
TOTAL_MINIFIED_SIZE=0
js_minimize () {
    SRC_PATH=`echo ${JS_SRC_DIR}/$1 | sed -e 's/\.\///g'`
    MINIFIED_PATH=`echo ${JS_MINIFIED_DIR}/$1 | sed -e 's/\.\///g'`
    SRC_SIZE=`du -b ${JS_SRC_DIR}/$1 | awk '{ print $1;}'`
    python ${JSMIN_DIR}/jsmin.py < ${SRC_PATH} > ${MINIFIED_PATH}
    MINIFIED_SIZE=`du -b ${JS_MINIFIED_DIR}/$1 | awk '{ print $1;}'`
    REDUCTION_PERCENTAGE=`echo "(1.0 - ${MINIFIED_SIZE} / ${SRC_SIZE}) * 100" | bc -l`
    REDUCTION_PERCENTAGE=`echo ${REDUCTION_PERCENTAGE} | sed -e 's/^\(-\?\)\./\10./g'`
    echo $1 ${SRC_SIZE} ${MINIFIED_SIZE} ${REDUCTION_PERCENTAGE} | sed -e 's/\.\///g' | awk '{
         printf("minified:%s %dbytes -> %dbytes reduction percentage:%5.2f%%\n", $1, $2, $3, $4);
	 }'
    TOTAL_SRC_SIZE=`expr ${TOTAL_SRC_SIZE} + ${SRC_SIZE}`
    TOTAL_MINIFIED_SIZE=`expr ${TOTAL_MINIFIED_SIZE} + ${MINIFIED_SIZE}`
}
cd ${JS_SRC_DIR}
if [ "$1" != "" ]
then
    while [ "$1" != "" ];do
	if [ -e ${JS_SRC_DIR}/$1 ]
	then
	    js_minimize $1
	else
	    echo ${JS_SRC_DIR}/$1" does not exist."
	fi
	shift 1
    done
else
    for srcname in `find . | egrep '.+\.js$'`;do
	case `basename $srcname` in
            exclude1.js | exclude2.js) ;; # exclude
	    *)
		js_minimize $srcname
	esac
    done
    TOTAL_REDUCTION_PERCENTAGE=`echo "(1.0 - ${TOTAL_MINIFIED_SIZE} / ${TOTAL_SRC_SIZE}) * 100" | bc -l`
    echo ${TOTAL_SRC_SIZE} ${TOTAL_MINIFIED_SIZE} ${TOTAL_REDUCTION_PERCENTAGE} \
	| awk '{ printf("\ntotal     : %dbytes -> %dbytes reduction percentage:%5.2f%%\n", $1, $2, $3); }'
    echo | awk '{ printf("\nAll JavaScript files minified.\n\n"); }'
fi

参考までに

参考文献

シェルスクリプト基本リファレンス

posted with amazlet at 08.07.17

山森 丈範
技術評論社
売り上げランキング: 29058

おすすめ度の平均:

シェルスクリプト本が数ある中で、
Linux、Unixユーザならば、一度、読んでおきたい本

Amazon.co.jp で詳細を見る

sed&awkプログラミング

posted with amazlet at 08.07.17

デール ドゥラティ アーノルド ロビンス
オライリー・ジャパン
売り上げランキング: 86344

おすすめ度の平均:

０から書いたことがありません。
正規表現をマスターしましょう
Sed&awkプログラミング

Amazon.co.jp で詳細を見る

プログラムコードは1行80文字以内で、というルールを多くのプログラマが知っていると思います。以前はプリンタなどの、ハード的な都合があったみたいですね。現在では81文字になってもそれほど困ることはなさそうですが、今でも、ある程度このルールが守られていることが多いのではないでしょうか。

そんな中、メソッド名などの都合上、どうしても長くなってしまうことがあります。そんなとき、みなさんはどこで改行をしていますか？

例えば、次のようなJavaプログラムがあったとします。

package net.unoh.labs.longlong;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

public class Client {

    public static void main(String[] args) {
        
        HttpURLConnection urlConnection = null;
        BufferedReader reader = null;
        
        try {
            URL url = new URL("http://clonedoppelganger.net/");
            urlConnection = (HttpURLConnection)url.openConnection();
            urlConnection.connect();
            reader = new BufferedReader(new InputStreamReader(urlConnection.getInputStream()));
            while (reader.ready()) {
                System.out.println(reader.readLine());
            }
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (urlConnection != null) {
                urlConnection.disconnect();
            }
            if (reader != null) {
                try {
                    reader.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }

}

「reader = new BufferedReader...」のところが文字数オーバーです。私が改行するならこのようにします。

        try {
            URL url = new URL("http://clonedoppelganger.net/");
            urlConnection = (HttpURLConnection)url.openConnection();
            urlConnection.connect();
            reader = new BufferedReader(
                        new InputStreamReader(urlConnection.getInputStream()));
            while (reader.ready()) {
                System.out.println(reader.readLine());
            }
        } catch (MalformedURLException e) {

これの見栄えが良いのか悪いのかは全く不明ですが、大体悩んだ結果こんな感じになります。関係ないですが、このプログラムを実行すると、指定のURL（ここではclonedoppelganger.net）にアクセスしてコンテンツを出力します。

次のJavaScriptコードの場合はどうでしょうか。

document.getElementsByTagName('body').item(0).innerHTML = ['Hello', 'World'].join('<br />');

少々意図的ですが、こんなコードも世の中にはあると思います。私が改行するならこのようにします。

document.getElementsByTagName('body').item(0).innerHTML
        = ['Hello', 'World'].join('<br />');

演算子の両隣には半角スペースを空けたり、といった他のインデントは大分と自分のなかで確立されてきたのですが、改行の位置は未だに試行錯誤の連続です。ケースバイケースではありますが、何かしら基準があると悩まずに済むのになともんもんしています。

どう改行する？.orgをそろそろ作るべきかなと悩みます。

EmacsLispは難しい？

• バッファを切り替えるにはどうすればいいか？
• 外部プロセスを起動する方法がわからない
• find-fileとかみたいに補完入力をしたいんだけどやりかたがわからない

非対話的に引数で指定したファイルを開く

(find-file-noselect "/home/bokko/test.txt")

(switch-to-buffer (find-file-noselect "/home/bokko/test.txt"))
;; もしくは
(switch-to-buffer (buffer-name (find-file-noselect "/home/bokko/test.txt")))

バッファからファイルに関する情報を取得する

(window-buffer)

(buffer-name (window-buffer))

(expand-file-name (buffer-name (window-buffer)))

外部プロセスを起動する

(defun compress-css ()
  "compress css"
  (interactive)
  (start-process "compress-css"
         "*compress-css*"
         "css-compressor")
  (message "all css file compressed."))

補完入力をできるようにする

(defvar tags-file-list '(
                 ("eigaseikatu" . "/home/bokko/eigaseikatu")
                 ("photozou" . "/home/bokko/photozou")
                 ))
(setq file (completing-read
   "Tags Key: "
   tags-file-list nil t "")) 

elispで使う正規表現

\\\\

デバッグ

目当ての関数を探し出す

ちょっとした応用

別のバッファで同じファイルを開く

(defun open-same-file ()
  (interactive)
  (let ((same-file (find-file-noselect (buffer-name (window-buffer)))))
    (progn (split-window-horizontally)
    (other-window 1)
    (switch-to-buffer same-file))))

(defun elscreen-open-same-file ()
  (interactive)
  (let ((same-file (find-file-noselect (buffer-name (window-buffer)))))
    (elscreen-create)
    (switch-to-buffer same-file)))

C言語のヘッダファイルとソースファイルを関連づける

(defun c-open-relational-file (how-open-type)
  (interactive "nOpen-Type: ")
  (defun get-opened-file-name-prefix (file-name)
    (string-match "^\\([^.]+\\)\\.[^.]+$" file-name)
    (match-string 1 file-name))
  (defun get-ext-type (file-name)
    (string-match "\\.\\([^.]+\\)$" file-name)
    (match-string 1 file-name))
  (defun get-opening-file-name (file-name-prefix ext-list)
    (let ((opening-file-name (concat file-name-prefix "." (car ext-list))))
      (cond ((null (car ext-list))             nil)
            ((file-exists-p opening-file-name) opening-file-name)
            (t                                 (get-opening-file-name file-name-prefix
                                                                      (cdr ext-list))))))
  (let* ((ext-map '(
                    ("h" . ("c" "cpp" "cxx"))
                    ("c" . ("h" "s"))
                    ("s" . ("c"))
                    ("cpp" . ("hpp" "h"))
                    ))
         (opened-file-name (buffer-file-name (window-buffer)))
         (opened-file-name-prefix (get-opened-file-name-prefix opened-file-name))
         (opened-file-ext-type (get-ext-type opened-file-name))
         (opening-file-ext-type-list (cdr (assoc opened-file-ext-type ext-map)))
         (opening-file-name (get-opening-file-name opened-file-name-prefix
                                                   opening-file-ext-type-list))
         (opening-file-buffer (find-file-noselect opening-file-name)))
    (cond ((= how-open-type 1) (elscreen-switch-or-create opening-file-buffer))
          ((= how-open-type 2) (progn (split-window-horizontally)
                                      (other-window 1)
                                      (switch-to-buffer opening-file-buffer)))
          (t                   (message "Illegal Type")))))

elファイルを再帰的にバイトコンパイルする

(defun my-byte-compile-directory ()
  (interactive)
  (defun byte-compile-directories (dir)
    (if (file-directory-p dir)
        (byte-compile-directory-r (mapcar (function (lambda (f) (concat dir "/" f)))
                                          (directory-files dir)))))
  (defun byte-compile-directory-r (file-list)
    (cond ((null (car file-list))
           nil)
          ((and (file-directory-p (car file-list))
                (not (string-match "/\.\.?$" (car file-list))))
           (byte-compile-directories (car file-list))
           (if (not (null (cdr file-list)))
               (progn
                 (byte-compile-directories (cadr file-list))
                 (byte-compile-directory-r (cdr file-list)))))
          ((string-match "\.el$" (car file-list))
           (progn
             (byte-compile-file (car file-list))
             (byte-compile-directory-r (cdr file-list))))
          (t
           (if (not (null (cdr file-list)))
               (byte-compile-directory-r (cdr file-list))))))
  (byte-compile-directories (replace-regexp-in-string "/$" "" default-directory)))

参考文献

おまけ

携帯サイトの見栄えをシミュレートするウェブアプリ作りました。と言っても、実際に作ったのはかれこれ半年以上前で、手直ししてから公開しようと思ってたら、結局「guid=ON」を付け足したくらいであとは放置だったので、さすがにいい加減晒そうと。

任意のヘッダでリクエストして、レスポンスの絵文字とか変換してサイトの見栄えを確認するというものですが、これはそもそもExt JSをいじってた頃に、Ext JSでこういうの作ればいい感じになるんじゃね？ということで、丁度2.0がリリースされた頃にデモ用に作ったものなのでした（なので、かれこれ半年以上前）

実機テストの代用になるわけでは、もちろんありませんが、絵文字も含めたマルチキャリアでの見栄えを手軽に確認したいときなどに、わりと便利に使えてたりします。

スクリーンショット

機種ごとのプリセットのヘッダグループをYAMLファイルに書いておいて、以下のようにプルダウンメニューから選択して切り替えます。この画面で直接ヘッダの値を書き換えたり、任意のヘッダを追加したりもできます。

レスポンスのヘッダとボディ（HTMLソース）を確認できますが、HTMLソースは以下のようにタグなどを色分けして、行番号を付けて表示します。

アクセス履歴を保存してドメイン別に表示します。ページタイトル、URL、アクセス日時で並べ替えができ、それぞれダブルクリックで、そのページに再度アクセスできます。

その他の機能

• QRコード表示します。
• Basic認証をエミュレートします（開発環境には必須かな）
• iモードの「UTN」と「guid=ON」をエミュレートします。リクエストヘッダのUser-Agentに個体識別情報が含まれる場合は、UTN属性のある要素からのリクエストでは個体識別情報を含むUser-Agentを、それ以外は個体識別情報を除去したUser-Agentを送信します。同様に、リクエストURLのクエリーストリングに「guid=ON」が含まれる場合、X-Dcmguidヘッダが設定されてれば送信します。
• iモード以外ではCookieの送受信をエミュレートします。

サーバサイドのプログラムは諸般の事情でPHP4スクリプトです（PHP5でも動作確認してます）。PHP4でのHTMLスクレイピングには限度があるので、そのあたりの処理は限定的になってます。

試してみようと思ったかたは

以下アーカイブをどうぞ。

mobile-simulator-1.0.tar.gz

Google Codeに移動しました（2008-07-10）

しかしこいつは、各機能を実現するのにさまざまなオープンソースソフトウェアを利用させていただく他力本願なつくりなので、アーカイブの中身だけでは動きません。以下利用させていただいているソフトウェアの一覧です。それぞれ必要な段取りは、アーカイブのREADMEをご覧ください。

Ext JS 2.x

2.0と2.1で確認してます。それ以前のバージョンでは動きません。

MobilePictogramConverter 絵文字変換ライブラリ

絵文字の変換表示にはこちらを利用させていただいてます。

QRcode Perl CGI & PHP scripts ver. 0.50

QRコードの表示にはこちらを利用させていただいてます。

PEAR HTTP_Client

仮想HTTPクライアントのコアはこちら。

PEAR Text_Highlighter

レスポンスボディの強調表示に。

spyc 0.3

YAMLのパースはこちら。

Jsphon - JSON in PHP

JSONのエンコード/デコードはこちら。

SILK ICONS

アイコン画像に利用させていただいています。

ファイザー製薬/チャンピックス錠

この薬は国内初の「飲む禁煙補助薬」で、従来のニコチンパッチなどとは違い、脳の受容体などに直接効いてくれるそうなので、非常にラクに禁煙できるらしいです。
簡単にまとめると、

• 健康保険が適用される(一部例外あり)
• 3ヶ月間連続して2週間に1度必ず通うこと
• 1年に1度だけ
  
• 3ヶ月間、朝晩の食後に1錠ずつ飲むだけ
• 飲み始め1週間は喫煙しても良い
• 我慢するというよりも、タバコが嫌いになる(まずくなる)
• 喫煙しても満足感を得られにくくする
  

Webサイトを運営していると、同じページに複数の箇所からリンクが貼られている場合に、特定のリンクからのアクセスがどれぐらいあるかを調べたいことがあります。

もちろん、異なるURLで訪問者にアクセスしてもらえばトラッキングできるので、適当なクエリーストリングをリンクのURLに付加すれば調べることができるようになります。

<a href="/foo?bar">baz</a>

写真でつながる共有サイト「フォト蔵」では、アクセス解析にGoogle Analyticsを利用しています。Google Analyticsを利用している場合、次のようにして特定のリンクからのアクセスを違う名前で扱うことができるようになります。

<a href="/foo" onclick="pageTracker._trackPageview('/foo?bar')">baz</a>

このリンクからのアクセス数をGoogle Analyticsで調べるには、「/foo?bar」というURLにどれだけアクセスされているかを検索すればOKです。簡単ですね。単純なページ遷移なら「ナビゲーションサマリー」で確認することができますが、特定のリンクをターゲットに調査したい場合にはこの方法が便利です。

Google Analyticsは本格的に使おうとするとかなり高機能なので、ヘルプを見たりあちこちのページを開いたりして、いろいろ試してみるといいと思います。「セッション」「コンバージョン」など、Google Analyticsで用いられている用語の定義も一度確認しておくことをオススメします。

担当箇所を取り替えてみる

変化をつける

他の人々とコミュニケーションする

他の何かに注目する

自動化する

費用対効果を考える

作業を確認する

ちゃんと休憩する

インターネット接続環境を確保する

懇親会に参加する

参加者意識をもつ

試してみる

感謝する

レポートとかをブログに書く

zshのワイルドカード

echo **/foo # 再帰的に 'foo' にマッチ
echo *(/)    # ディレクトリだけマッチ
echo *(.)    # 標準ファイルだけマッチ
echo *(@)    # シンボリックリンクにだけマッチ

パイプ処理

パイプ処理は組み合わせて簡単に複雑なことができる

パイプ処理の例

svn status|grep '^?'|awk '{print $2}'|xargs svn add

svn status|grep '^?'|grep '¥.gif$'|awk '{print $2}'|xargs svn add

パイプ処理で活用したい文字列処理ツール

findで対象範囲を絞り込み、xargsで効率よく実行する

ヒストリ

Ctrl+r

Ctrl+p, Ctrl+n

Meta+p, Meta+n

Ctrl+o

grep $HOME/.historyhistory|grep foo

まとめ