harukiです。

ケータイユーザも検索エンジンから来るユーザも増えています。
そのため、携帯サイトも検索エンジンのクローラへ対応する必要があります。

・Mobile Link Discoveryの記述を追加する

PC用のページのheadタグ内に

<link rel="alternate" media="handheld" href="(ケータイURL)" />

Mobile Link Discoveryに対応しているサイトでは、ケータイからのアクセス時に直接アクセスしてもらえるようになります。

Mobile Link Discovery 仕様
http://www.sixapart.jp/docs/tech/mobile_link_discovery_ja.html

検索エンジンでは、Googleモバイルのgoogle mobile proxy
http://www.google.co.jp/gwt/nや

Yahoo!モバイルでの検索→PCサイトの結果のところにケータイサイトのURLが追加されるようです。

(他の検索エンジンでは対応してたり、してなかったりします)

また、はてなMobileGatewayも対応しています。
http://mgw.hatena.ne.jp/help

PC用のページに1行追加するだけですので簡単です。

…ということで、昨日、ビデオポップとsugu.CCにも追加しておきました。

・ケータイ検索エンジン用クローラ対策

先ほどのMobile Link Discoveryは主にPC用の検索エンジンのクローラ等への対応になります。
対応しておいて損はないという程度だと思います。

やはり、ケータイサイトであるならば、ケータイ用の検索エンジンのクローラに対応してあげるほうが効果は高いです。

サイトでSessionや端末IDを使用する場合は、各キャリアのIPアドレス帯域による制限を行っていると思います。
しかし、それではクローラのアクセスも弾かれてしまいますので、クローラにもケータイ向けのページを表示してあげる必要があります。

対応する際には、以下の順序で対応していくのがいいと思います。

• プログラムでキャリアのIP帯によるアクセスなのかを判断できるようにする
  .htaccessなどでうまくやる方法があれば教えて下さい
• クローラのIPもしくはUserAgentのアクセスを許可する
  クローラの一覧はぜひ共有したいです
• Sessionの利用・端末IDの取得はキャリアのIP帯からしか許可しない
  キャリアのIP帯以外からの場合はSessionは「使わない・破棄する」

・検索ワードの把握

Referrerを送ってくれるauとSoftBankでは検索ワードが取得することができます。
webalizerの場合は、webalizer.confにこんな感じで追加するとSearch Stringの取得ができます。

SearchEngine    google.co.jp    q=
SearchEngine    yahoo.co.jp     p=
SearchEngine    ezweb.ne.jp     query=
SearchEngine    livedoor.com    q=

まだまだ、勉強不足な分野ですので、ツッコミや追加の情報などがあれば是非、教えていただければと思います。