«前の日記(2013-06-15) 最新 次の日記(2013-06-20)» 編集

ぱぱネット(仮)


2013-06-16 写真をAmazon S3+Glacierで永遠に保存する [長年日記]

_ .....というわけで死屍累々の状況であった。 正直何の技術的工夫もない「ソラ箱」あたり はすぐに死ぬと思っていたけどクライアントアプリきちんと作ってた ZumoDriveまで終わるとは思ってなかった。オンラインストレージは淘汰が進んでいる。

別に永遠に保つ必要はないんだが(乗り換えるので)、 少なくとも自サーバの寿命よりはサービスの寿命の方が長くないとなあー。

_ [Linux][開発] 写真をAmazon S3+Glacierで永遠に保存する

Amazon AWS

アカウント作成の流れ(http://aws.amazon.com/jp/register-flow/)を 参照して、AWSのアカウントを作成する。最低限必要なのは、

  • メールアドレス
  • 電話番号
  • クレジットカード

身元確認は面倒だが仕方がない。

AWS Management Console

マネジメントコンソール(http://aws.amazon.com/jp/console/)にアクセス。 Amazon S3のアイコンをクリックする。最初はバケット(フォルダのようなもの)が ないと思うので適当に名前をつける。ここではto.papa.homeとした。

画像の説明

ライフサイクルルールの設定

元々S3はWebサーバとしても使えるストレージなので、特定のバケットに対して Glacierに凍結貯蔵するというルールを追加する。

画像の説明
  1. バケットを選択
  2. 右上のPropertiesが選択されていると右ペインにプロパティが出るのでLifecycleを選択
  3. Add ruleというボタンが出てくるのでクリック。
  4. Lifecycle Ruleというパネルが出てくるので、Nameを適当に入力
  5. 続いてApply to Entire Bucketをチェックし、Prefixは空のままにする
  6. 続いて+Move to Glacierボタンをクリックして、Time Periodに1を入力
  7. Saveして終了

今回の設定ではS3にコピーしてから1日(*)くらいは自由に出し入れできるが、 それ以上経つとGlacierに凍結されるという設定にした。

なお、Expirationは一定日時経ったら削除する、というルールなので 絶対に設定しないように。これは例えば増え続けるアクセスログを溜め込みすぎないように 古いものから捨てるときに使うもの。

一旦S3にコピーすることでS3のストレージ料金がかかることが考えられるが、 正直誤差の範囲内であろう。それよりもAmazon本体にファイルのメタデータの 管理を委譲できる利益の方が遥かに大きい。Amazonさえ潰れなければ データを取り出すことはできるという1点において。

ファイルコピー

title5 バケットを選択してUploadボタンをクリックするとダイヤログが出てきて、 ブラウザからファイルをアップロードすることができるが、ファイルが 多いとやっていられないと思うので外部クライアントを使う方法を紹介。

AWSはクライアントに直接アカウントとパスワードを指定せず、 アクセスキーとシークレットキーを書き込むことでアクセスできるようになる。

アカウントアクティビティ⇒ セキュリティ証明書⇒アクセス証明書とたどり( https://portal.aws.amazon.com/gp/aws/securityCredentials) アクセスキータブからアクセスキーIDとシークレットアクセスキーをコピペすればOK。

あたりが有名なクライアント。

Storage Class

どうも私の場合はきっかり1日ではなく、 1日半くらいしてからStorage ClassがStandardからGlacierに変更された。 ちょっとヤキモキしたのは事実だ....

画像の説明

_ [Linux][開発] 気になる料金

みんなが一番気になる料金。今回使ったS3/Glacierは完全にS3に統合されているので、 GlacierではなくS3の料金表をみてみる(http://aws.amazon.com/jp/s3/pricing/)

PUT、COPY、POST、または LIST リクエスト	$0.005 1,000 リクエスト当たり
Glacier アーカイブおよび復元リクエスト	$0.05 1,000 リクエスト当たり

つまり、ファイルを1000個アップロードすると$0.01かかる計算に。 個人の写真アーカイブなど高々10万枚くらいだろうから$1ってこと。 でも 10万個に復元リクエスト出して5時間待ってダウンロード は あんまりやりたくないので(汗;)ある程度の単位でtar.gzなどで固めておくのが セオリーかと思います。 どうせなら写真の重複等も取り除いておいた方がよろしいでしょうな。

私は結婚式の写真とiPhotoのoriginalを圧縮したものをアップロードし、 61GiBほどになりました。ここで Glacier料金表(http://aws.amazon.com/jp/glacier/pricing/)をみてみる。

ストレージ料金表 $0.01 GB あたり/月

61GiB置いておくだけなら毎月$0.61 = 57.95円で済む .....はずなのですがはてさて(^^;




2001|04|
2006|07|08|09|10|11|12|
2007|01|02|03|04|05|06|07|08|09|10|11|12|
2008|01|02|03|04|05|06|07|08|09|10|11|12|
2009|01|02|03|04|05|06|07|08|09|10|11|12|
2010|01|02|03|04|05|06|07|08|09|10|11|12|
2011|01|02|03|04|05|06|07|08|09|10|11|12|
2012|01|02|03|04|05|06|07|08|09|10|11|12|
2013|01|03|04|05|06|07|08|09|10|11|12|
2014|01|03|04|05|10|

[BANNER]
このサーバーをもう12年も維持しているかと思うとめまいがしますよ。
ツッコミ機能は、ハンドル名が完全日本語じゃないと登録できません。
また、本文にURLが含まれていても登録できません。
いずれもSPAM対策です。
[Panda Papanda]
2013年
6月
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30

[Papanda]  [Kuma]  [Tomorin]  [Iron]  [Eiza]  [Dokkin]  [Honya]  [Zyou]  [Tsuyo]  [Bike]  [KoeBBS]  [Chukei]  [portal]  [tvmatome]  [KaoPaku] 

訪問者数:(11778+2560143)