TwitterのBasic認証によるユーザー認証が6月に廃止されるようですね。 認証はOAuthで行ってください、とのことなのですが OAuthの認証画面を表示するためにブラウザを起動するのがふさわしくないケースや、 そもそも貧弱なブラウザでうまく利用できないケースもあります。

そうした場合の解決方法として、xAuthという仕組みがTwitterに実装されています。 詳しくは次に紹介するweb上の記事を参照してください。

• s-take Blog.: Twitterによる簡易版OAuth: "xAuth"
• OAuthでデスクトップアプリがブラウザを経由させたくないときのxAuth - Codin' In The Free World
• the.hackerConundrum: Sneak peek at Twitter's browserless OAuth credentials exchange method
• Big Sky :: デスクトップアプリケーションでも認証可能なOAuth「xAuth」をpythonから試してみた。
• Maraigue風。:[Ruby][Twitter] OAuthのアクセストークンを、ブラウザなしで、Twitterのユーザ名およびパスワードのみを用いて取得する(通称：xAuth)ためのRubyのコード

認証にはユーザーの名前とパスワードを使いますが、 それを元にaccess_tokenとaccess_token_secretを取得できるので以後の認証にはパスワードが不要になるというものです。 これならBasic認証の代わりに使うことができそうですね。 勿論、OAuthを利用できるシーンではOAuthを用いた認証が望ましいのですが、 必ずしも当てはまらないケースもあるということで。

PythonやRubyを使った実装サンプルは見つかったので、 PHPのものはないかなと探してみるとありました。 ただしベトナム語タイ語なのでPHPのコードしか読めないということと、 実装コードがPHPの関数ベースなので少し使いづらそうです。

• NuuNeoI - แจกซอร์ส PHP Twitter xauth

そこで普段OAuthを利用する際に使っているPECL::oauthで実装できないか試してみました。 ちなみに通常のOAuth認証を利用する場合のサンプルはリポジトリにコミットされているので参照することができます。

<?php
$consumerKey         = 'YOUR-CONSUMER-KEY';
$consumerSecret      = 'YOUR-CONSUMER-SECRET';
$userName            = 'YOUR-USER-NAME';
$password            = 'YOUR-PASSWORD';
$xAuthAccessTokenUrl = 'https://api.twitter.com/oauth/access_token';

$response = '';
$parameters = array(
    'x_auth_mode'     => 'client_auth',
    'x_auth_username' => $userName,
    'x_auth_password' => $password,
);

try {
    $oauth = new OAuth($consumerKey, $consumerSecret,
        OAUTH_SIG_METHOD_HMACSHA1, OAUTH_AUTH_TYPE_URI);
    $oauth->fetch($xAuthAccessTokenUrl, $parameters, OAUTH_HTTP_METHOD_POST);
    $response = $oauth->getLastResponse();
} catch (OAuthException $e) {
    echo "Error\n";
    exit;
}

// oauth_token=xxx&oauth_token_secret=xxx&
// user_id=xxx&screen_name=xxx&x_auth_expires=0
parse_str($response, $accessTokenInfo);

// oauth_token, oauth_token_secret, user_id, screen_name,
// x_auth_expires
var_dump($accessTokenInfo);

$accessTokenInfoの要素として「oauth_token」と「oauth_token_secret」が入っているので、 それをDBなどに保存しておくようにすれば通常のOAuth認証を用いてツイートの投稿などを行うことができるようになります。 そのまま利用して投稿するとすると、次のような感じになります。

$oAuthStatusesUpdateUrl = 'http://twitter.com/statuses/update.xml';

$response = '';
$parameters = array(
    'status' => 'YOUR-STATUS-MESSAGE',
);

$oauthToken       = $accessTokenInfo['oauth_token'];
$oauthTokenSecret = $accessTokenInfo['oauth_token_secret'];

try {
    $oauth->setToken($oauthToken, $oauthTokenSecret);
    $oauth->fetch($oAuthStatusesUpdateUrl, $parameters, OAUTH_HTTP_METHOD_POST);
    $response = $oauth->getLastResponse();
} catch (OAuthException $e) {
    echo "Error\n";
    exit;
}

var_dump($response);

仕組みとしては非常に単純なものなので、 現在Twitterの認証にBasic認証を仕方なく使っているケースでも 比較的簡単に置換ができるのではと思います。 当然、OAuthが利用できるのであれば そちらを使うのが望ましいのは言うまでもありませんが。

$ rpm -ql cacti | grep cli | grep php$
/var/lib/cacti/cli/add_data_query.php
/var/lib/cacti/cli/add_device.php
/var/lib/cacti/cli/add_graph_template.php
/var/lib/cacti/cli/add_graphs.php
(...snip...)

$ rpm -ql cacti | grep cli | grep html$
/usr/share/doc/cacti-0.8.7e/docs/html/cli_add_data_query.html
/usr/share/doc/cacti-0.8.7e/docs/html/cli_add_device.html
/usr/share/doc/cacti-0.8.7e/docs/html/cli_add_graph_template.html
/usr/share/doc/cacti-0.8.7e/docs/html/cli_add_graphs.html
(...snip...)

$ sudo -u cacti php /var/lib/cacti/cli/add_device.php --list-host-templates
Valid Host Templates: (id, name)
0	None
1	Generic SNMP-enabled Host
3	ucd/net SNMP Host
4	Karlnet Wireless Bridge
5	Cisco Router
6	Netware 4/5 Server
7	Windows 2000/XP Host
8	Local Linux Machine
9	X DB Server HT
10  	WebServer - Apache
11	Memcached Server
12	X Nginx Server HT

$ sudo -u cacti php add_device.php --description=newserver　--ip=10.0.0.123 --version=2 --avail=pingsnmp --community=public --template=0
　
Adding newserver (10.0.0.123) as "None" using SNMP v2 with community "public"
Success - new device-id: (90)

$ sudo -u cacti php add_data_query.php --host-id=90 --data-query-id=1  --reindex-method=1 #SNMP interface
$ sudo -u cacti php add_data_query.php --host-id=90 --data-query-id=2  --reindex-method=1 #ucd/net Get Mount Partitions
$ sudo -u cacti php add_data_query.php --host-id=90 --data-query-id=8  --reindex-method=1 #SNMP Get Mont Partitions

$ sudo -u cacti php add_graph_template.php --host-id=90 --graph-template-id=4  #ucd/net CPU Usage
$ sudo -u cacti php add_graph_template.php --host-id=90 --graph-template-id=11 #ucd/net Load Average
$ sudo -u cacti php add_graph_template.php --host-id=90 --graph-template-id=13 #uce/net Memory Usage

$ sudo -u cacti php add_graphs.php --host-id=90 --graph-template-id=4 --graph-type=cg
$ sudo -u cacti php add_graphs.php --host-id=90 --graph-template-id=11 --graph-type=cg
$ sudo -u cacti php add_graphs.php --host-id=90 --graph-template-id=13 --graph-type=cg

携帯電話

docomo

• オープンiエリア
  • オープンiエリア（国内版）
• GPS
  • GPS

<a href="http://w1m.docomo.ne.jp/cp/iarea?ecode=OPENAREACODE&msn=OPENAREAKEY&nl=URL&posinfo=1">位置情報を送る</a>

<a href="URL" lcs>位置情報を送る</a>

au

• 簡易位置情報
  • 簡易位置情報
• GPS
  • 非公開情報だよ！au GPSの使い方
  • GPS位置情報パラメータの取得方法

<a href="device:location?url=URL">位置情報を送る</a>

<a href="device:gpsone?url=URL">位置情報を送る</a>

SoftBank

<a href="location:cell?url=URL">位置情報を送る</a>

<a href="location:gps?url=URL">位置情報を送る</a>

WILLCOM

• 位置情報

<a href="http://location.request/dummy.cgi?my=URL&pos=$location">位置情報を送る</a>

スマートフォン

iPhone

Android

参考

• 位置情報を取得するには/GPSを使用するには
• androidで位置情報を取得する

WEBブラウザ

Firefox

Safari

• iPhone OS3.1のSafariではGeolocation APIがサポートされているようです(未確認)
• ちなみに MacOSX Snow LeopardのSafari4.0.4では動作しませんでした

その他位置情報に関するAPI

沖電気提供の位置情報API

• 地名を緯度経度に変換するAPI
• 緯度経度から最寄りの駅を見つけ出すAPI
• 文書中から住所表現を抽出するAPI

シリウステクノロジーズ提供の位置情報API

• 携帯電話からキャリアを意識せずに緯度経度、住所を取得できるAPI (GeoFormAPI)
• 住所や駅名、緯度経度、郵便番号を相互変換するAPI (GeoPointAPI)

まとめ

PHPデベロッパー向けのAmazon Web Services（AWS）のリソースはhttp://aws.amazon.com/php/にまとめられていますが、そのArticles & Tutorialsカテゴリーにある、Introduction to AWS for PHP Developersという記事は、AWSの主要サービスの概要と、PHPによるその操作を学ぶチュートリアルで、ここで取り上げられているサービスに初めて取り組むPHPデベロッパーには格好の入門となっており、ここではこのチュートリアルを紹介したいと思います。

また、このチュートリアルはAmazon純正のライブラリを利用していますが、AWS用のライブラリには様々なものがあり、この記事の最後ではそのひとつ、CloudFusionを紹介しようと思います。

なお、以下のチュートリアルのスクリプトの実行には、もちろんAWSアカウントが必要で、スクリプトの実行に応じてAWSの利用料が課金されます。チュートリアルには、例えば起動したEC2インスタンスを停止（Terminate）するなど、余計な課金がされないようにする手順は説明されていませんので、AWS Consoleや各種デベロッパーツールを利用して（あるいはチュートリアルの復習も兼ねて、そうしたプログラムを自作するなどして）、適宜対処してください。

チュートリアルのシナリオ

チュートリアルはビデオ共有サイトを題材にしており、AWSのうち、EC2、S3、SQS、SimpleDBを利用します。

• ウェブサーバはEC2でホストされる
• ユーザは任意の形式のビデオをサイトのファイルアップロードフォームからアップロードできる
• アップロードされたビデオはS3に保存され、SQSで管理されるバッチプロセスでFLVに変換される
• 変換されたビデオはS3に保存され配信される
• ビデオのメタデータはSimpleDBに記録される

一般的なビデオ共有サイトでは、ユーザから投稿される様々な形式のビデオを、共通の形式（一般的にFLV）に変換して視聴に供します。ビデオの変換は相応のリソースと時間を消費するため、バッチプロセスで処理され、キューシステムで管理されますが、チュートリアルではここにSQSを採用しています。また、バッチプロセスをウェブサーバとは別のコンピュータ（EC2インスタンス）に分離し、さらにそれらが複数に分散されることを想定し、変換前後のビデオはS3に保存します。

チュートリアルの著者について

チュートリアルの著者は、Feedsterを経て現在はAPIのマネージメントサービスを提供するMasheryのチーフアーキテクトを務めるClay Lovelessさんです。彼はオライリーのPHP Cookbook Second Editionの4つの章の著者であり、かつて存在していたpearified.comの運営者でもありました。また、このチュートリアルで使われるS3のストリームラッパー実装（Killersoft_Wrapper_S3）とSOAPクライアント（AWSSoapClient）は彼自身の手によるものです。

チュートリアルファイルのダウンロード

http://s3.killersoft.com/AWSforPHP/awsfiles.zip

チュートリアルのPHPスクリプトは、バージョン5.1.2以上のPHPでの実行を前提にしています。チュートリアルファイル中のcompatibility.phpで動作要件を確認できます。

チュートリアルはAmazon純正の以下のライブラリを利用します。

• PHP Library for Amazon EC2
• PHP Library for Amazon SDB
• PHP Library for Amazon SQS

チュートリアルファイルにはこれらのライブラリが含まれていますが、それらはチュートリアルが執筆された時点のバージョンのものであり、最新のものではありません。当然、対象となるAPIバージョンもチュートリアルの執筆時点のものとなっている点に注意してください。

設定ファイルの作成

チュートリアルは/etc/aws.confファイルに保存された設定情報を利用します。

/etc/aws.confファイルに、Security Credentialsで表示されるAccess Key IDとSecret Access Key、及びAccount Numberを、以下の書式で記述します。

; AWS Security Credentials
; Access Key ID
access_key = "06224BHAZ75910F2"
; Secret Access Key
secret_key = "aIfbA2568+12TEqLDYpiqOyRULvi9"
; Account Number
account_id = "123412341234"

さらに/etc/aws.confファイルに、チュートリアルのPHPスクリプトが作成するファイルを保存するディレクトリのパスを、以下の書式で追記しておきます。

; Path to writable directory where we can save files
tutorial_file_path = "/tmp"

接続の確認

チュートリアルの最初に登場するPHPスクリプトは、avail-zones.phpです。このスクリプトは、EC2のゾーンの利用可否を問い合せるDescribeAvailabilityZonesリクエストを発行します。

$ php avail-zones.php
<?xml version="1.0"?>
<DescribeAvailabilityZonesResponse xmlns="http://ec2.amazonaws.com/doc/2008-05-05/">
...

このスクリプトは最もプリミティブなRESTリクエストの作成例で、外部ライブラリに依存せずにURLをいちから組み立てています。そのため、スクリプトの実行で、/etc/aws.confファイルに記述したSecurity Credentialsの正当性が確認できるとともに、そのソースを読み解くことで、RESTリクエストのURLの構成、特にその署名（Signature）の作成方法が把握できるようになっています。

SOAPリクエスト

すべてのAWSはRESTとSOAPの両インタフェースで利用できます。チュートリアルは基本的にRESTを利用しますが、一部のスクリプトにはそのSOAP版も用意されています。

SOAPリクエストではX.509 Certificateが必要になります。Security CredentialsでX.509 Certificateを設定後、/etc/aws.confファイルに、cert-....pemファイルとpk-....pemファイルのパスを以下の書式で追記します。SOAPを利用しない場合は、この手順は不要です。

; X.509 Certificate Path
cert_file = "/path/to/my/cert-....pem"
; RSA private key 
private_key_file = "/path/to/my/pk-....pem"

avail-zones-soap.phpは、avail-zones.phpのSOAP版です。

$ php avail-zones-soap.php 
us-east-1a: available
...

これ以降に登場するチュートリアルのPHPスクリプトはその冒頭でexample_setup.phpをインクルードしています。このexample_setup.phpは、/etc/aws.confファイルから設定情報を読み込み、あわせて各スクリプトが利用するクラスライブラリ用のオートロードを定義しています。

EC2インスタンスの起動

初めてチュートリアルに取り組む際は、実際にEC2インスタンスを起動する前に、まずec2-prelaunch.phpを実行して、キーペアの作成とセキュリティグループの設定を行います。

ec2-prelaunch.php

1. DescribeKeyPairsリクエストで「awstutorial」キーペアの存在を確認
2. キーペアが存在しない場合、CreateKeyPairリクエストでキーペアを作成し、プライベートキーを、/etc/aws.confファイルの「tutorial_file_path」で設定したディレクトリの「id_rsa-awstutorial」ファイルに保存
3. DescribeSecurityGroupsリクエストで「awstutorial」セキュリティグループの存在を確認
4. グループが存在しない場合、CreateSecurityGroupリクエストでグループを作成
5. グループの設定でポート80とポート22が開放されていない場合、AuthorizeSecurityGroupIngressリクエストでポートを開放

$ php ec2-prelaunch.php 
Creating awstutorial keypair...
generated fingerprint
f3:e4:e6:c8:92:dd:f1:52:be:ea:a3:9d:75:57:ba:65:61:a7:a3:28
generated material
-----BEGIN RSA PRIVATE KEY-----
...
-----END RSA PRIVATE KEY-----
Creating awstutorial security group ...done.
Opening awstutorial port 80 ...done.
Opening awstutorial port 22 ...done.

ec2-launch.phpを実行すると実際にEC2インスタンスが起動します。

ec2-launch.php

1. RunInstancesリクエストで、ID「ami-2b5fba42」のAMI（Fedora Core 8）のインスタンスを起動し、そのインスタンスIDを、/etc/aws.confファイルの「tutorial_file_path」で設定したディレクトリの「awstutorial-instance.txt」ファイルに保存
2. パブリックDNS名（ホスト名）が割り振られるまで、DescribeInstancesリクエストを定期的に実行し、パブリックDNS名が割り振られたらそれを、/etc/aws.confファイルの「tutorial_file_path」で設定したディレクトリの「awstutorial-hostname.txt」ファイルに保存

$ php ec2-launch.php 
Launching awstutorial instance.
i-b98db8d1 is pending
Waiting for public hostname...........................
i-b98da8d1 is running at ec2-75-101-188-56.compute-1.amazonaws.com
Instance booted in 76.150985002518 seconds.

EC2インスタンスの設定

/etc/aws.confファイルの「tutorial_file_path」で設定したディレクトリに移動し、ec2-prelaunch.phpスクリプトとec2-launch.phpスクリプトの実行によって保存されたファイルを使って、必要な環境変数を設定します。

$ cd /tmp
$ export AWSTUTORIAL_HOST=`cat \`pwd\`/awstutorial-hostname.txt`
$ export AWSTUTORIAL_KEY=`pwd`/id_rsa-awstutorial

/etc/aws.confファイルをEC2インスタンスにアップロードし、インスタンス上でチュートリアルのスクリプトを実行する環境を整えます。

$ scp -i $AWSTUTORIAL_KEY /etc/aws.conf root@$AWSTUTORIAL_HOST:/etc/aws.conf
$ ssh -i $AWSTUTORIAL_KEY root@$AWSTUTORIAL_HOST \
    'curl -O http://s3.killersoft.com/AWSforPHP/awsfiles.zip; \
    unzip awsfiles.zip -d /var/www/'
$ scp -i $AWSTUTORIAL_KEY awstutorial-*.txt root@$AWSTUTORIAL_HOST:/tmp/

インスタンスにSSHログインします。

$ ssh -2 -i $AWSTUTORIAL_KEY root@$AWSTUTORIAL_HOST

インスタンス上で、PHPとApacheのインストールを行います。

# yum -y install php \
    php-mcrypt.i386 \
    php-soap.i386 \
    php-xml.i386 \
    php-cli.i386 \
    httpd.i386

インスタンス上で、チュートリアルファイルのindex.phpをドキュメントルートにコピーし、アップロードされたビデオファイルを保存する/var/www/html/uploadsディレクトリを作成して、Apacheを起動します。

# cp /var/www/awsfiles/index.php /var/www/html/index.php
# mkdir /var/www/html/uploads
# chown apache:apache /var/www/html/uploads
# service httpd start

インスタンスのApacheの起動後に、ローカルコンピュータのウェブブラウザで、インスタンスのパブリックDNS名にアクセスすると、ファイルアップロードフォームが表示されます。インスタンスのパブリックDNS名は、/etc/aws.confファイルの「tutorial_file_path」で設定したディレクトリの「awstutorial-hostname.txt」ファイルに保存されています（もちろんAWS Consoleでも確認できます）。

ファイルアップロードフォームから適当なファイルをアップロードすると、インスタンスの/var/www/html/uploadsディレクトリにファイルが保存されます。現在のindex.phpが行うのはこの単純なファイルアップロード処理だけです。チュートリアルのシナリオでは、アップロードされたファイルはS3に保存され、そのパスがSQSに登録されて変換処理を待ち受けますが、現在のindex.phpは、まだそうした処理は行いません。

そこで次に、SQSにキューを作成し、index.phpを差し替えます。

SQSキューの作成

EC2インスタンス上で、sqs-makequeue.phpを実行して「awstutorial」という名前のキューを作成します。

sqs-makequeue.php

1. ListQueuesリクエストで、名前が「awstutorial」で始まるキューの存在を確認
2. キューが存在しない場合、CreateQueueリクエストでキューを作成

# php /var/www/awsfiles/sqs-makequeue.php 
Creating awstutorial...
Queue awstutorial created at https://queue.amazonaws.com/842929249205/awstutorial

アップロードファイルのS3への転送とSQSキューへのメッセージ送信

EC2インスタンス上で、現在のindex.phpをチュートリアルファイルのindex2.phpと差し替えます。

# cp /var/www/awsfiles/index2.php /var/www/html/index.php

新しいindex.phpはファイルアップロード処理の完了後にsqs-queue-conversion.phpをインクルードします。sqs-queue-conversion.phpは、アップロードされたファイルをS3に転送し、そのパスをメッセージとしてキューに送信します。

sqs-queue-conversion.php

1. アップロードされたファイルをS3に転送
2. SendMessageリクエストで、S3に転送したファイルのパスをメッセージとして「awstutorial」キューに送信

チュートリアルでは、S3の操作は、チュートリアルの著者であるClay Lovelessさん自身が開発したKillersoft_Wrapper_S3クラスを利用します。Killersoft_Wrapper_S3はS3に対するストリームラッパーの実装で、対応のファイルシステム関数などで、「s3://〜」というURLでS3のオブジェクトを操作できるようにするものです。

以下はsqs-queue-conversion.php中でKillersoft_Wrapper_S3を使用している箇所の抜粋で、Killersoft_Wrapper_S3::selfRegisterメソッドでラッパーを登録することで、is_dir、mkdir、file_put_contentsといったお馴染みの関数で、S3オブジェクトの操作が行われています。

Killersoft_Wrapper_S3::selfRegister();
...
$bucket = 's3://awstutorial-'
        . md5(
            $creds['access_key'] .
            $creds['secret_key'] .
            $host
        );

if (! is_dir($bucket)) {
    mkdir($bucket);
}
...
file_put_contents(
    "{$bucket}/{$upload_name}",
    file_get_contents($upload_file)
);

なお、チュートリアルでは、アップロードされたファイルはそのオリジナルのファイル名のままで保存されます。当然、同じ名前のファイルがアップロードされると同名のファイルが上書きされてしまうため、実用に供する場合はユニークなファイル名を割り当てる処理を追加する必要がありますが、チュートリアルではそうした処理は端折られています。

キューの確認

キューの状態はjob-check.phpを実行することで確認できます。

job-check.php

1. S3に転送したファイルの存在確認
2. GetQueueAttributesリクエストでキューにある可視メッセージの大凡の数（ApproximateNumberOfMessages）を取得して表示
3. ReceiveMessageリクエストでキューにあるメッセージを受信してそのメッセージボディを表示（メッセージを確認するだけなので、他のプロセスの受信を妨げないようにVisibilityTimeoutは最小限に設定）

# php /var/www/awsfiles/job-check.php 
s3://awstutorial-a136e5e1e1e3ce3c44ffb1affbe79f1d/sample.mov is on S3!
Queue awstutorial has ~1 messages.
Found a message with a body of:
s3://awstutorial-a136e5e1e1e3ce3c44ffb1affbe79f1d/sample.mov

キューからのメッセージの受信と削除

チュートリアルでは、アップロードされたファイルはFLV形式に変換されます。変換処理を担当するプロセスはキューを監視し、新しいメッセージを受信すると変換処理を実施します。job-fetch.phpはこうしたプログラムの例です。

job-fetch.php

1. ReceiveMessageリクエストでキューにあるメッセージを受信（VisibilityTimeoutは20秒に設定）
2. メッセージのパスがS3上に実在するか確認
3. パスが実在しない場合、DeleteMessageリクエストでメッセージを削除して終了
4. パスが実在する場合、S3からファイルを転送して変換処理を実施
5. 変換処理が成功したら（変換後のファイルが存在していたら）DeleteMessageリクエストでメッセージを削除
6. 変換後のファイルをS3に転送し、変換元のファイルを削除

# php /var/www/awsfiles/job-fetch.php
Conversion complete!
Deleting completed job from queue.
Uploading converted file back to S3
Deleting original since we no longer need it

メッセージの受信時にVisibilityTimeoutで設定した秒数を経過すると、（メッセージが削除されていない場合）そのメッセージは再び可視状態となり、他のクライアントが受信可能になります。そこで実際のVisibilityTimeoutの設定は、複数のクライアントが重複してメッセージを受信しないように調整する必要があります。

なお、job-fetch.phpはビデオの変換にFFmpegを利用します。従ってjob-fetch.phpを実行するコンピュータにはFFmpegが必要で、チュートリアルの「Step 3: Perform Conversion Job」にはEC2インスタンスへのFFmpegのインストール手順が紹介されています。しかし、FFmpegのインストールや実行はチュートリアルの本旨ではなく、実際のところFFmpegのインストールは結構な手間なので、インストールや変換がうまくいかない場合は、job-fetch.phpのFFmpegの実行コマンドを編成している箇所を、以下のように適当に改変して対処してしまってください。

// ffmpeg command for transformation
// $cmd = '/usr/bin/ffmpeg -i '
//      . escapeshellcmd($localin)
//      . ' -ar 22050 '
//      . '-acodec mp3 -ab 32k -r 25 -s 320x240 '
//      . '-vcodec flv -qscale 9.5 '
//      . escapeshellcmd($localout);
$cmd = sprintf('cp %s %s',
        escapeshellcmd($localin),
        escapeshellcmd($localout));

SimpleDBによるビデオデータベース

チュートリアルでは、変換処理が完了した各ビデオは、そのデータが以下のような構造のSimpleDBデータベースに登録されます。

本来こうしたデータの登録は、ファイルのアップロードや変換処理の完了にあわせて行われるべきものですが、チュートリアルでは別途に手動で（！）行われます。さらにチュートリアルでは、リストを表示したりビデオを再生するウェブインタフェースは結局用意されません（つまりこのサイトのユーザは、アップロードしたビデオを見ることはできません）。もちろん、そのあたりはチュートリアルの本旨ではないのですが、まあとにかくバッサリ端折られてますんで、あらかじめご了解ください。

ドメインの作成

SimpleDBでは、RDBMSのテーブルに相当する概念を「ドメイン」と呼びます。sdb-create-domain.phpを実行すると、「awstutorial」という名前のドメインが作成されます。

sdb-create-domain.php

1. CreateDomainリクエストで「awstutorial」という名前のドメインを作成

# php sdb-create-domain.php 
RequestId: 897b7cba-e9c0-1f11-9531-275dcf846e9b
BoxUsage: 0.0055590278

SimpleDBへのリクエストのレスポンスには、その利用料金の指標となる「Box Usage」の値が含まれます。

EC2では同時に起動可能なインスタンス数はデフォルトで20ヶに制限されていますが、SimpleDBにも同様の制限があり、デフォルトではドメイン数は100ヶまで、1ドメインあたりのデータ量は10GBまでに制限されています。そして、EC2と同様にリクエストベースでこの制限を緩和することが可能です。

ドメインの一覧

sdb-list-domains.phpを実行すると、作成したドメインの一覧を確認できます。

sdb-list-domains.php

1. ListDomainsリクエストでドメインの一覧を取得

# php sdb-list-domains.php 
DomainName awstutorial

アイテムの追加

sdb-create-records.phpを実行してアイテム（レコード）を追加します。追加されるアイテムは、上表の「item1」のものです。

sdb-create-records.php

1. PutAttributesリクエストで「awstutorial」ドメインに「item1」という名前のアイテム、及びその属性（各カラム値）を保存

# php sdb-create-records.php 
RequestId: ee265eb4-0924-684a-b261-7cec5030ff23
BoxUsage: 0.0000220339

1アイテムあたりの属性数は256ヶ以下、1ドメインあたりの属性数は10億ヶ以下に制限されています。

SELECTクエリーの実行

SimpleDBでは、限定的なSELECT文を用いてアイテムを検索することができます。sdb-sqlselect.phpは、tags属性値が「app」で始まるアイテムを検索する「SELECT * FROM awstutorial WHERE tags LIKE 'app%'」を実行します。

sdb-sqlselect.php

1. Selectリクエストで「SELECT * FROM awstutorial WHERE tags LIKE 'app%'」を実行

# php sdb-sqlselect.php 
Item Name: item1
file: sample.mov
userid: clay
size: 71k
tags: apple
category: tutorials
description: Just a sample video. Watch!

利用可能なSELECT文の詳細は、Using Select to Create Amazon SimpleDB Queriesに記載されています。

1度のリクエストで取得可能なアイテムは2,500件以下、または合計データ量が1MB以下に制限されています。リクエストがこの制限を超えるアイテムにマッチした場合（及びクエリーの実行が5秒以上経過した場合）はレスポンスにNextToken要素が含まれ、その値を用いることで「次ページ」のリクエストが行えます。

チュートリアルのsdb-list-items.phpでは、Selectリクエストではなく、Queryリクエスト、及びQueryWithAttributesリクエストが行われていますが、これらはいずれも最新のAPIバージョン2009-04-15ではDeprecatedとなっています。

チュートリアルの紹介は以上です。チュートリアルではAmazon純正のライブラリを利用していましたが、AWSのライブラリには他にも様々なものがあり、以下ではそのひとつ、CloudFusionを紹介します。

CloudFusion（旧称Tarzan AWS）

CloudFusionはAWS等のクラウドサービス用のPHPライブラリです。CloudFusionは、AWSについては単一のパッケージで複数のサービスをサポートしており、現時点のバージョン2.5では、EC2、S3、SQS、SimpleDB、CloudFront、及びProduct Advertising APIをサポートしています。またAWS以外にも、クラウドサービスの基盤を提供するオープンソースソフトウェアであるEucalyptusをサポートしています。

以下はチュートリアルの「sdb-create-records.php」にある、SimpleDBのドメイン「awstutorial」にアイテム「item1」を追加するコードをCloudFusionのもので書き換えた例です。

require_once 'cloudfusion.class.php';

$sdb = new AmazonSDB(
        'Your AWS Access Key ID',
        'Your AWS Secret Access Key');

$response = $sdb->put_attributes('awstutorial',
        'item1',
        array(
            'userid'      =>  'clay',
            'category'    => 'tutorials',
            'file'        => 'sample.mov',
            'description' => 'Just a sample video. Watch!',
            'size'        => '71k',
            'tags'        => array('apple')),
        true);
print_r($response);

なお、上の例ではAccess Key IDとSecret Access Keyをコンストラクタのパラメータに指定していますが、これらはCloudFusionでは通常config.inc.phpに記述しておきます。これ以降に登場する例はいずれも、これらがconfig.inc.phpに記述されていることを前提に、コンストラクタのパラメータは省略しています。

CloudFusionには以下のような特徴があります。

リクエストの並列実行

CloudFusionではcurl_multi_*によるリクエストの並列実行が可能です。

以下は通常の、逐次リクエストを実行する例です。ここではSQSキューに10ヶのメッセージを送信しています。AmazonSQS->send_messageメソッドは直ちにリクエストを実行し、レスポンスオブジェクトを返します。

require_once 'cloudfusion.class.php';

$sqs = new AmazonSQS;
$responses = array();
for ($i = 0; $i < 10; $i++) {
    $responses[] = $sqs->send_message(
            'https://queue.amazonaws.com/awstutorial',
            "This is message #$i");
}
print_r($responses);

以下は上の例を、リクエストを並列実行するように書き換えたものです。CloudFusionのAmazon*クラスの多くのメソッドは、パラメータの最後にTRUEを指定すると、リクエストを実行してレスポンスオブジェクトを返す代わりに、リクエストのcURLハンドルを返します。ハンドルの配列をRequestCore->send_multi_requestのパラメータに指定するとリクエストが並列実行され、その各レスポンスオブジェクトの配列が返されます。

require_once 'cloudfusion.class.php';

$sqs = new AmazonSQS;
$handles = array();
for ($i = 0; $i < 10; $i++) {
    $handles[] = $sqs->send_message(
            'https://queue.amazonaws.com/awstutorial',
            "This is message #$i",
            true);
}
$request = new RequestCore;
$responses = $request->send_multi_request($handles);
print_r($responses);

組み込みのキャッシュ機構

CloudFusionにはレスポンスのキャッシュ機構が用意されており、必要に応じて利用することができます。現在対応しているキャッシュストレージは、ファイル、SQLite、MySQL、PostgreSQL、APC、及びMemcacheとなっています。

容易なクラスのカスタマイズ

CloudFusionでは、通常内部的に使われるクラスについても容易にそのカスタムクラスが利用出来るようになっています。以下は例として、リクエストURLを返すgetRequestUrlメソッドを実装したResponseCoreの継承クラスを作成しています。カスタムクラスを利用するには、Amazon*クラスのset_*_classメソッドのパラメータにカスタムクラスの名前を指定します。

require_once 'cloudfusion.class.php';

class CFCustomResponse extends ResponseCore {
    public function getRequestUrl() {
        if (isset($this->header['x-cloudfusion-requesturl'])) {
            return $this->header['x-cloudfusion-requesturl'];
        }   
        return null;
    }   
}

$sqs = new AmazonSQS;
$sqs->set_response_class('CFCustomResponse');
$response = $sqs->send_message(
        'https://queue.amazonaws.com/awstutorial',
        "This is another test message.");
echo $response->getRequestUrl() . "\n";

カスタムクラスはCloudFusionの命名規則に従ったファイル名を与えることで、CloudFusionのオートロードの対象になります。現在のCloudFusionのクラスファイルの命名規則は、クラス名が「Amazon」で始まる場合はそれを除去し、「CF」で始まる場合はそれをアンダースコアに置換し、クラス名をすべて小文字にして「.class.php」を続けるというものです。例えば上の例の「CFCustomResponse」クラスの場合、そのファイル名は「_customresponse.class.php」となります。

ドキュメント

CloudFusionのドキュメントは比較的よく整備されており、APIリファレンスには、多くのメソッドにサンプルコードが用意されています。

以上、AWS用のライブラリの例としてCloudFusionを紹介しました。AWS用のライブラリには、このCloudFusionや、チュートリアルで登場したKillersoft_Wrapper_S3のように、Amazon純正のもの以外にも様々なものがあり、プロジェクトのニーズ次第では検討の余地があるのかもしれません。

アリエル・ネットワークに友人がいるきっかけで、ありえるえりあ勉強会にウノウが参加することになりました。個人的にですが、アリエルさんといえばFirefoxの拡張を作成しているときにFirefox拡張機能(extension)の作り方という記事でとてもお世話になりました。

今回のテーマはテストということで、ウノウからはテスト番長山本がスピーカーとして参加します。

発表予定内容は次のようになっています（告知文より抜粋のため敬称略）。

• 山本番長【絶版プレミア本に学ぶウェブアプリのテスト方法】
  • テストの書籍や資料を探すとウェブアプリを対象にしたものは少ないのが現状です。絶版のため高値になっている良書「インターネットアプリケーションのためのソフトウェアテスト」の内容を辿りながら、ウェブアプリのテスト法全般について日本の状況を交えながらお話したいと思います。
• 佐藤【rhino on junit】
  • JavaによるJavaScript処理系であるMozilla Rhino上で、JUnitを用いてJavaScriptのユニットテストを行う手法や Javaのクラスを対象にしたテストケースをJavaScriptで記述する手法などを紹介します。

開催は来年になりますが、年始の忙しさから少し落ち着く時期ではないかと思いますので、ご興味のある方は下記ATNDから是非参加登録ください。

• 日時: 2010年1月29日（金） 19:00～21:30
• 定員: 30人
• 会場: ウィン五反田ビル6F (株)ワークスソリューションズ （東京都品川区西五反田1-30-3）
• 備考: 勉強会のあと、ピザパーティー(無料)があります。
• 参加登録: ありえるえりあ勉強会@五反田～テスト編～ : ATND

今回は、みんな大好きメッセージキュー、Q4Mを触ってみた感想を今更ながらレポートします。

Q4M

公式ページはこちらhttp://q4m.31tools.com/

Q4Mはサイボウズラボの奥 一穂氏が開発されており、MySQLの5.1以上でストレージエンジンとして利用できるメッセージキューで、MySQLプラグインとしてGPLライセンスで配布されております。

特長

MySQLのストレージエンジンとして利用できるので、テーブル作成時にストレージエンジンを指定するだけで利用できます。

CREATE TABLE hoge (
     ...
 ) ENGINE = QUEUE

キューの作成(enqueue)は通常のレコード操作と同様にINSERTで行い、キューの取り出し(dequeue)も同様にSELECTで行えるので、シンプルに扱う事が出来ます。

導入事例

公式ページには導入事例として以下の2つが載っています。

• pathtraq
• mixiボイス

インストール

最新版は0.8.9となっています。こちらからバイナリ・ソース版と用意されているので、適切なものを選んでインストールします。

GCCのバージョンによってはコンパイルに失敗するエラーがありましたが、現バージョンでは解消されて手軽にインストールできるようになりました。

インストールが終わると、MySQLにプラグインとして認識されているのがわかります。

mysql> show plugins;
+------------+----------+----------------+--------------------+---------+
| Name       | Status   | Type           | Library            | License |
+------------+----------+----------------+--------------------+---------+
| binlog     | ACTIVE   | STORAGE ENGINE | NULL               | GPL     |
| partition  | ACTIVE   | STORAGE ENGINE | NULL               | GPL     |
| ARCHIVE    | ACTIVE   | STORAGE ENGINE | NULL               | GPL     |
| BLACKHOLE  | ACTIVE   | STORAGE ENGINE | NULL               | GPL     |
| CSV        | ACTIVE   | STORAGE ENGINE | NULL               | GPL     |
| FEDERATED  | DISABLED | STORAGE ENGINE | NULL               | GPL     |
| MEMORY     | ACTIVE   | STORAGE ENGINE | NULL               | GPL     |
| InnoDB     | ACTIVE   | STORAGE ENGINE | NULL               | GPL     |
| MyISAM     | ACTIVE   | STORAGE ENGINE | NULL               | GPL     |
| MRG_MYISAM | ACTIVE   | STORAGE ENGINE | NULL               | GPL     |
| QUEUE      | ACTIVE   | STORAGE ENGINE | libqueue_engine.so | GPL     |
+------------+----------+----------------+--------------------+---------+

実際に動かしてみる

まずはテーブルを作成します。

mysql> CREATE TABLE queue_table (
  message TEXT NOT NULL,
  priority TINYINT UNSIGNED NOT NULL DEFAULT 10
)
ENGINE = QUEUE

次に、実際に処理するキューを作るため、キューをINSERTします。

mysql> INSERT INTO queue_table (message) VALUES ('ms1'), ('ms2') ,('ms3');

dequeueしてみます。dequeueにはqueue_waitというfunctionを利用します。

mysql> SELECT queue_wait('queue_table');
+---------------------------+
| queue_wait('queue_table') |
+---------------------------+
|                         1 |
+---------------------------+
1 row in set (0.00 sec)

成功すると、結果として1が返って来ます。
キューを取り出しているこの状態をオーナーモードと呼び、この状態だと、該当のテーブルからは1レコードだけ引けるようになります。

mysql> SELECT * FROM queue_table;
+---------+----------+
| message | priority |
+---------+----------+
| ms1     |       10 |
+---------+----------+
1 row in set (0.00 sec)

取り出して処理が完了した場合、queue_endを呼ぶと、取り出したキューが削除されます。同時にオーナーモードが解除され、非オーナーモードに戻ります。

mysql> SELECT queue_end();
+-------------+
| queue_end() |
+-------------+
|           1 |
+-------------+
1 row in set (0.00 sec)

非オーナーモードに戻ったので、通常のSELECTを行うと、残りの全キューを引くことができます。
ただし、別のコネクションでオーナーモードになっている場合、そのコネクションで得たキューは表示されません。(後述。)

mysql> SELECT * FROM queue_table;
 +---------+----------+
 | message | priority |
 +---------+----------+
 | ms2     |       10 |
 | ms3     |       10 |
 +---------+----------+
 2 rows in set (0.00 sec)

またこのとき、処理中に例外エラーなどでキューを戻したい場合は、queue_abort()を利用すると直前に取り出したキューを戻します。queue_wait()→queue_abort()した際の流れです。

mysql> SELECT queue_wait('queue_table');
+---------------------------+
| queue_wait('queue_table') |
+---------------------------+
|                         1 |
+---------------------------+
1 row in set (0.00 sec)

mysql> SELECT * FROM queue_table;
+---------+----------+
| message | priority |
+---------+----------+
| ms2     |       10 |
+---------+----------+
1 row in set (0.00 sec)

mysql> SELECT queue_abort();
+---------------+
| queue_abort() |
+---------------+
|             1 |
+---------------+
1 row in set (0.00 sec)

mysql> SELECT * FROM queue_table;
+---------+----------+
| message | priority |
+---------+----------+
| ms2     |       10 |
| ms3     |       10 |
+---------+----------+
2 rows in set (0.00 sec)

オーナーモードと非オーナーモード