ぱぱネット（仮）

_ 免責

例によって 素人の妄言 なので生真面目にとらないように。 あ、使ってるSQLite3バージョンは3.3.8です。OSはLinux kernel-2.6.22.6。

_ [Linux] データベースSQLite3

組込データベースとしては最も有名なSQLite3。 非常に軽量かつ高速、しかもライセンスが パブリックドメイン なので、 市販されているソフトウェアや組込機器にも多数使われている。

ネットワークやユーザの概念はないけれど、ローカルファイルをデータベースに仕立て挙げることができ、 トランザクションの概念 もしっかりあるため、「ぶっちゃけ今書いた内容なし!(rollback)」 できたりするわけだ。自分で生ファイルを管理するとデータの一貫性を維持するのにすごい気をつかう訳だが、 SQLite3を使うとSQL文脈で記述することができるのでマジ便利。

_ しかし問題が...

「database is locked(5)」 。少しSQLite3を使うとこのメッセージを頻繁に目にすることになる。 「5」ってのはsqlite3.hの定数で言うところの SQLITE_BUSY に相当する。 要するに他のプロセスが使ってるから使えないってこと...らしいのだが... 頻繁過ぎるので 調べてみた。

_ 実証コード

データベースのテーブルtest1。

 create table test1 (
    id integer primary key,
    text text
 );

書き込み側プログラムb.pl(PerlでDBIとDBD::SQLiteを使った)

#!/usr/bin/perl

use strict;
use DBI;
use Time::HiRes qw( usleep );

my $dbh = DBI->connect(
    'DBI:SQLite:dbname=/tmp/test.db',
    undef,
    undef,
    {RaiseError => 0, AutoCommit => 0}
);

for (my $i = 0; $i < 1000; $i++) {
    my $teststring = "$i*******************";
    my $sql = 'insert into test1 values(null, ?)';
    my $sth = $dbh->prepare($sql);
    my $rv = $sth->execute($teststring);
    $dbh->commit();
    $sth = '';
    print "$i\n";
    usleep(30);
}
$dbh->disconnect();

読み込み側プログラムa.pl。

#!/usr/bin/perl

use strict;
use DBI;
use Time::HiRes qw( usleep );

my $dbh = DBI->connect(
    'DBI:SQLite:dbname=/tmp/test.db',
    undef,
    undef,
    {RaiseError => 0, AutoCommit => 0}
);

my $sql = 'select id from test1';
my $sth = $dbh->prepare($sql);
for (my $i = 0; $i < 1000; $i++) {
    my $rv = $sth->execute();
    while (my $ref = $sth->fetch()) {
	my ($id) = @$ref;
    }
    print "$i\n";
    usleep(30);
}
$sth = '';
$dbh->disconnect();

_ 素人の仮説

「読み込みは普段フリー(高速)だが、書き込みすると読み込みが待たされる」 はずだったのだが..... 上記の例だと読み込みが動き出すと 書き込み側のcommit()が全くできなくなる ようだ。

1. b.plを起動
2. a.plを起動するとb.plが完全に止まる
3. a.plが終了するとb.plが再び動き出す

試しにa.pl, b.pl両方に以下の行を足してみる。sqlite3.hのsqlite3_busy_timeout()関数に相当する。 SQLITE_BUSYになる(エラーで返る)までの待ち時間をミリ秒単位で設定できるものらしい。

 $dbh->func(15, 'busy_timeout');

すると例のエラーがでるようになった。 しかしb.pl側で....

DBD::SQLite::db commit failed: database is locked(5) at dbdimp.c line 218 at b.pl line 20.

なんとか「複数のプロセスのselectの合間に、insert/updateを実行する」ようにならないだろうか。 これができないと電子掲示板みたいなアプリはほとんど全く動かなくなってしまう。

_ 解決策

a.plのループ内にcommit()を追加した。

    while (my $ref = $sth->fetch()) {
	my ($id) = @$ref;
    }
    $dbh->commit(); # ※これ追加

常識で考えればselect文のみであればDBには変更が加わらないのだからcommit()は全く不要...のはず(理解間違ってる??　)。 しかしなぜかうまくいく。 ソース本体を読んでないから断言はできないが、すごーーーーーーく 嫌な予感がするのは俺だけだろうか。 SQLite3は行ロックでもテーブルロックでもなくDBロック 、というのは 多分真実だとしても、その実装がセマフォではなく 本気でmutexのみ なのではなかろうか。 いやPerlのDBDが悪さをしているという可能性もあるけれども。テストプログラムをCで書いてみるべきかな....。

余談だがa.plのconnectをこうしてもうまくいく。

my $dbh = DBI->connect(
    'DBI:SQLite:dbname=/tmp/test.db',
    undef,
    undef,
    {RaiseError => 0, AutoCommit => 1} # ※ AutoCommitをON
);

なんだかな。本当かよー??という感じですが。