« バグのステータス | メイン | 5分でわかる PHP で書かれた Web サービスの国際化(その2) »

ベンチャー流サーバ構築のススメ(ハードウェア編)
このエントリーをブックマークに追加 このエントリーをlivedoorクリップに追加

尾藤正人です。

ウノウでは最近新オフィスに引越ししたのですが、新オフィスにサーバルームを設置してフォト蔵のサーバをホスティング業者から自社サーバに移行しました。

自社サーバに移行のは下記のような理由からです。

  • フォト蔵のようなストレージ系のサービスの場合、十分な帯域を確保する必要があるが、広帯域を確保するにはコストがかかる
  • フォト蔵のようなストレージ系サービスの場合、大容量のHDDが必要になるが、大容量のHDDを搭載したマシンはハイエンドマシンになり、増設コストがかかる
  • マシンの増設に時間がかかりフレキシブルに対応できない

というわけで自社サーバに移行したわけですが、自社サーバに移行するにあたって様々なノウハウがたまってきました。
サーバ構築にはいろいろトピックスがありますが、今回はハードウェア的な部分について書きたいと思います。

・マシンは全て同じ構成にする

数多くのサーバを運用するには大変なので、ハードウェアの構成は極力同じにします。
CPU、メモリ、HDD全て同じ構成にします。
構成が同じ場合だと何か障害があったときにすぐに代替ができるというメリットもあります。

フォト蔵の場合は大容量HDDが必要な特殊なサービスなので、2つの構成のマシンを用意しました。
DBサーバには大容量HDDは必要ありませんので。

通常は全て同じ構成のマシンでいいと思います。

・サーバはDELLで購入

何はなくともDELLです。価格.com で調べてパーツを個別に買って組み立てるよりもDELLの方が断然安いです。
DELLで一括購入するとマシン構成が同じになるというメリットもあります。

・1Uではなく筐体マシンを購入

1Uだと確かにスペースが有効活用できるのですが、1Uの場合は「高い」「うるさい」「熱がこもる」というデメリットがあります。
熱がこもると放熱にも気を使わないといけなくて、高価な冷却システムが必要になってきます。

ウノウではDELL SC430を並べて使ってます。
導入してわかったことですが、SC430 はかなり静かです。
サーバルームの隣が応接室兼会議室なのですが、全く聞こえません。

日本のトップクラスのアクセスを処理するサーバは、また話が違うのでしょうが、
せいぜい数十台で運用する場合は筐体マシンで十分です。

・エレクタにマシンを格納

サーバ群
サーバ郡 posted from フォト蔵

1Uを使うと1Uラックに収めるわけですが、1Uラックは高い。

SC430 はエレクタに並べて使ってます。
1万円ぐらいので18台載ります。1Uラックより全然安いです。

サーバルームは大体2畳ぐらいのスペースがありますが、そこに3つのエレクタを並べてます。
計算上54台まで収納できます。

・マシンを並べるときは後ろ向きで

メンテナンスしやすいようにマシンは後ろ向きに並べます。
電源ボタンはほとんど押すことがないので、手が届くだけのスペースを残しています。

・ケーブルをまとめるのはマジックテープで

マジックテープ
マジックテープ posted from フォト蔵

ケーブルはマジックテープでまとめます。
マジックテープを使うと作業中に何度もつけたりはがしたりできて便利です。
安いものなので大量に準備しておきましょう。

・引越しテープ

引越しテープ
引越しテープ posted from フォト蔵

すみません、正式名称がわかりませんでした。

引越し屋さんが使うべたべたしない、貼ったり剥がしたりが何度もできるテープです。
このテープにいろいろ情報を書いて貼っておきます。

マシン名とかIPアドレスとか書いて貼っておきます。
そうするとサーバルームに行ったときに一目で分かるのでメンテナンスしやすくなります。

・イーサネットケーブルは色違いを複数用意する

イーサネットケーブル
イーサネットケーブル posted from フォト蔵

同じ色のイーサネットケーブルを使うと、どこがどこに繋がってるか混乱します。
色違いのイーサネットケーブルを用意すると一発で違いが分かって便利です。

・イーサネットケーブルには長さを書いておく

引越しテープが役に立ちます。
イーサネットケーブルにはあらかじめ長さを書いたテープを貼っておきます。
最初から長さが分かっていると効率よくネットワーク構築ができます。

今回はサーバ構築にあたってハードウェアの部分を書きました。
ソフトウェアの部分でもいろいろ工夫をしていますので、それについてはまた後日書きたいと思います。

トラックバック

このエントリーのトラックバックURL:
http://www.unoh.net/mt32/mt-tb.cgi/179

この一覧は、次のエントリーを参照しています: ベンチャー流サーバ構築のススメ(ハードウェア編):

» サーバ構築ノウハウ(ハードウェア編) from ベイエリア情報局
ウノウでは新オフィスに引越ししてから自社サーバを構築しました。 自社サーバを構築... [詳しくはこちら]

» [雑] どこかで見たような光景 from 雑文発散
ウノウラボで「ベンチャー流サーバ構築のススメ(ハードウェア編)」というエントリがあった。その記事中、エレクタにデルのマシンを並べてる写真が掲載されているん... [詳しくはこちら]

» シーブレインの社内サーバ事情 from 山本@シーブレインのblog
「フォト蔵」や「映画生活」などで有名なウノウが、サーバ移行の話をウノウラボのbl... [詳しくはこちら]

» 負荷分散・ロードバランサー・リバースProxyとか最近参考にしたページ from 凸凹開発記録
負荷分散・ロードバランサー・リバースProxy@IT:Insider's Computer Dictionary [リバースProxy]http://ww... [詳しくはこちら]

» ベンチャー流サーバ構築のススメ(ネットワーク編) from ウノウラボ Unoh Labs
尾藤正人です。 前回のエントリ ベンチャー流サーバ構築のススメ(ハードウェア編) では多くのコメント、トラックバック、ブックマークをしていただきました。あ... [詳しくはこちら]

» せまいオフィスでのサーバー事情 from eringi blog
ウノウラボ Unoh Labs: ベンチャー流サーバ構築のススメ(ハードウェア編... [詳しくはこちら]

» NAMAANのサーバ群 from NAMAAN Staff UMAブログ
大崎@NAMAAN UMAです。 この前、「フォト蔵」や「映画生活」などで有名な... [詳しくはこちら]

コメント

参考になります...が、大企業ではなかなかこれをやらせてもらえないんですよねぇ...。大企業でも試験サービスなんかはこういった形態で十分だと思うのですが。

※サーバー群の写真ですがキャプションが「郡」になってます

コメントありがとうございます。

大企業のように資金が潤沢にあるところは金で解決するのは全然ありだと思います。
お金で性能がいいものとノウハウが買えますから。

ベンチャー企業は知恵を振り絞って安くいいものを作らないと。

キャプションの方修正しました。
ありがとうございます。

LANケーブルの長さタグが便利そうですね!
早速真似させてもらいたいと思います。

1Uラックをきちんと設置すれば耐震性に置いて大きなメリットとなると思うですが、その辺につきましてはどうでしょう?
(コスト対効果から今回は見送り、という判断ももちろんアリだと思います)

地震対策についてはこれからやるところです。
エレクタが動かないように壁に固定したりとか、サーバをエレクタに固定したりとかする予定です。

さすがに 1U ラックほどの耐震性はないと思いますが、
それである程度の耐震性は確保できると思っています。

ちなみに今朝の地震は特に影響ありませんでした。

あーなんか、懐かしい風景。
(うちは2,3台だったけど)

パソコンは床から遠ざけたほうがいいですよ。
毛羽立たないように、なっているとは思いますが
それでも、掃除機のように吸い込んでくれるんで。

大企業は確かに金を持ってますが、どんな小さなことをやろうとしても、ラックを立ててデータセンターを間借りして...という手段しか取れないことが問題なんですよね。

例えば収益性の見えない試験サービスの実証実験に機材レンタル・回線・ラック・監視ではい100万/月と言われてしまうと、コンテンツマッチ広告程度じゃぁどうがんばってもペイできませんからねぇ。

嗚呼SC430+エレクターが素直に羨ましいw

>ウノウラボの中の人
サーバのスペックはどのように検討してるのか、書いていただけるとうれしいです(^^;
マジックテープとか、引越し用テープとかの使い方がうまいですね。
うちも最近サーバが増えたところで同じようなラックにおいてるところですが、記事を参考にさせてもらいました。

>和蓮和尚さん

同意です。管理がちゃんとしすぎてて融通が利かないというか。
倉庫みたいなところでもいいんで、実験用サーバみたいなのをおいてくれたりするといいんですが。もれたらこまる情報も多いから難しいんでしょうけど。

> enban.netさん
アドバイスありがとうございます。

> 和蓮和尚さん
大企業だといろいろ足かせがあって大変ですね。
ベンチャーだと自分達で知恵を振り絞って問題解決ができるのが楽しいです。

> Timeserverさん
サーバで一番高価なのはメモリなので、どれくらいのメモリを積むかで値段が変わってきます。
CPUはできれば速い方がよい。HDDの容量はストレージを大量に使用するサービスでなければ、それほど気にしなくてもいいと思います。
重要なのは最初に決めたハードウェア構成を変更しないこと。
構成が同じでないと管理が煩雑になります。

引越しテープは「養生テープ」あるいは「メンディングテープ」と呼ばれる品だと思います。ケーブルを仮設するときにも便利です (床や壁にケーブルごと貼り付ける)

はてブのコメントでパイオランテープと教えてもらいました。
養生テープ、メンディングテープとも言うのですね。
調べてみると全て商品名のようです。
一般名称はないのでしょうか

とても参考になる記事ですばらしいです。

ビルの定期的な作業、メンテナンスによる停電対策とかはしているんですか?

うちのビルでは長時間のメンテナンス停電が頻繁に行われるので外向けサービスを社内サーバーで運用するのは断念しています。

それとFTTHでの運用は安定しているのでしょうか?ルーターとか何をお使いか教えて頂けると大変参考になります。

ビルのオーナーさん曰くメンテナンスによる停電はないそうです。
それが本当かどうか定かではないですが、停電になった場合はその間サービスが停止することになります。

光での運用はかなり安定してます。
といってもまだ導入して1ヶ月程度ですが。

ルータは Linux でやってます。
専用ハードウェアを使うと他の用途に使えなくなるので、結局高くついちゃうんですよね。

> ビルのオーナーさん曰くメンテナンスによる停電はないそうです。

年一回の法定電源点検がありませんか?
ウチは今まで3つほどビルを移ってきましたけど、どのビルでもありました。

で、点検前にシャットダウンして、点検終了後に電源を入れると、、、壊れて動かなくなるサーバが時々出るんですよ(怖)

> すずきさん
オーナーさんの言葉は半分信じてません。
年1回ぐらい定期点検でサービスが止まるのはしょうがないと割り切ってます。
それよりコストダウンやフレキシビリティのメリットの方が大きいので。

定期点検の時に高圧がかかって電気製品が壊れてしまうのはよくありますね。
ウノウでも引越し前に電話が壊れたことがあります。
この辺は事前に気をつけてプラグを抜いておくつもりです。

単純に電源を投入するだけならば、Wake on LANが便利ですよ。
家でもSC420やHPのML110でサーバを立てていますが、普段は止めておいて必要なときにWoLで電源を投入しています。

あとケーブルのタグですが、昔データセンターに出入りしていたときに紐が蝋付けされているタグを使うよう上司に指導されました。
特殊なタグだったため、秋葉原の愛三電機まで買いに行かされたことが思い出されます

WoL 便利そうですね。
ウノウの場合、社内ネットワークとサーバネットワークは完全に隔離されてるので、導入はできなさそうですが。

秋葉原まで買いに行かないと行けないのは大変ですね。
引越しテープならハンズで買えますし、300円ぐらいで安いです。

いろんなところに応用利きますので重宝しますよ。

社内ネットと分離してるとなるとWoLの導入は厄介ですね。

紐が蝋付けされたタグはWIDE方面で使われているものらしいです。
タグが大きいため、 を三行に渡って書くことができます。
テープのたぐいは付け替えが面倒で見た目もきたないため、絶対に使うなと厳命されました。
(データセンター内の配線は外から見えてしまうため、少しは見た目をよくする必要がありました)

Wake on LAN ですが、電源OFF状態が必要だという時点で、過剰投資をしてしまったということではありませんか?法定電源点検時はどうしたって人がつくでしょう。
CPU資源と電気代を比較するとCPU資源のほうが大きいのが普通です。24時間使い倒して、減価償却するというのが一般的な会社組織の資産計上でしょう。

ネバネバしないテープでも、紐が蝋付けされたタグでも、重要なことは一貫性のあるルールでラベリングすることだと思います。それは履行されないことが多いですね。現実的に履行されるにはどうするか?履行コストを下げることだと思います。

すいません、文の途中が抜けてしまいました。
「タグが大きいため、を三行に渡って書くことができます。」の読点の後に「挿している機器, 経由するパッチのポート, 反対側に挿さっている機器」という文を追加してください。

WoLに関しては電源投入時にその場に行かなくて済むのがメリットです。
実機の電源ボタンを押す場合、設置場所を間違えて本来落とすべきでないものを落とすことがありますが、WoLを用いてコンピュータによる電源管理ができるようになるとそのようなエラーを減らすことができます。

内部検証用目的であれば上記の構成で問題は無いと思いますが、外向けサービスとして使用するのであれば、「免震」「停電(突発、計画)」、「ネットワーク冗長」、「24x365駆けつけ体制」、「セキュリティ」の点で気になりますね。
1Uサーバについては、センター内のラックや専用のサーバ室に設置しないのであれば全く意味もなく、むしろ障害の原因(温度管理等の点)となりますので同意します。
ラックのお話で最大54台という記述がありますが、そこまで増えると運用コストやその他諸々の面でも非現実的かと。ちなみにコンソールはどうされてますか?写真には液晶モニタが1台写ってるようですが。ちなみに一番不安なのは電源供給周りです。UPSは導入されてるのでしょうか。それとパッチケーブルに取り付けるタグは、秋葉原とかですと俺コン中央通り店の3F(?)あたりに売ってるタグ付結着バンドが便利です。(T字になっている物)パッチケーブル以外にも、電源を冗長化した場合などどこのPDUに刺さってるかといった情報を書き込んだりもします。
私は以前ベンチャーのお客様にSIとして導入した事があるのですが、お客様いわく「ベンチャーは企業として技術力はあるかもしれないが、実績・信頼が無いのでサービス断等で信頼を落としたく無い」とおっしゃってたのが印象的でした。企業であれば当然の事なのですが、ベンチャーだけに尚更といったところでしょうか。
※ベンチャー企業様に対する導入経験があまり無いので頓珍漢な事を書いてたらお詫びします

既にコメントでも書いてありますが、耐震対策はやります。まだ移行したばかりで準備しているところです。

コンソールは基本的に使用しませんが、緊急メンテナンス用に1台準備してあります。

UPS は必要最小限のものを置いています。

アドバイスいろいろありがとうございます。
参考にしてこれからの運用に生かしたいと思います。

>光での運用はかなり安定してます。
と書かれていますが、回線にはどのようなものを利用されているのでしょうか?
専用線ではなく、一般の光回線でしょうか?
参考までにお聞かせください。

一般の光回線です。
IPがいくつかもらえるのがいいですよ。
冗長化できるので。

返信ありがとうございます。
一般の光回線とは驚きました。
プロバイダはOCNかどこかでしょうか?
帯域制限やサーバ運営の保証などがどの程度あるのか、とても気になります。

どの回線が良いかは一概には言えないので試してみるのが一番かと思います。

コメントを投稿


画像の中に見える文字を入力してください。

SaaS提供の高性能CMS RCMS
SaaS提供の高性能CMS
ウノウラボはウノウ株式会社のエンジニア/デザイナーによる大小のアウトプットを行っていく場です。

現在ウノウは絶賛人材募集中です。詳細は求人ページへ。

About

2006年6月19日 17:30に投稿されたエントリーのページです。

ひとつ前の投稿は「バグのステータス」です。

次の投稿は「5分でわかる PHP で書かれた Web サービスの国際化(その2)」です。

他にも多くのエントリーがあります。メインページアーカイブページも見てください。

ウノウサービス