Twitter Hits 50 Million Tweets Per Dayという記事がありました。 一日五千万件、毎秒600件...という規模が多いか少ないか判別つかないけど、 多分べらぼうに多いんでしょう。
ちょっと興味が出てきたので調べてみると Streaming APIという のが一般に公開されており、 ストリーミングのようにどんどん取得できるようです。 間引きされたサンプルでよいなら... という制限はついていますが、一般人でも アカウントがあれば使える模様。
じゃあやってみよー。
ストリーミングなので「条件指定してPOSTしてレスポンスとして結果」という通常のHTTPリクエストとは 異なり、持続セッションが必要です。PerlだとPOEとかいろいろこの手のフレームワークが 多数存在するのですが....@OMAKASE先生がAnyEvent::Twitter::Streamを紹介していたので、ありがたくマルパクすること にしました。
twitstream.plをダウンロード。 展開したらファイル名をtwitstream.plに変更して、
my $user = '****your_account****'; my $pass = '****your_password****'; my $tz = 'Asia/Tokyo';
この部分を自分のアカウントに変更してあげてください。 実行結果はこんな感じ。あんまり大量には流れてこないようですが眺めているだけでも楽しいです。