2017年6月28日水曜日

2017/06/28 Meta data for DENSHI-KOKUDO map tiles #2

2017/06/28 電子国土 地図タイル メタデータがezjnxwinに使えるか? #2
Unfortunately this text is in Japanese only.
 [前回の調査] の続き...
5千万行のCSVファイルをSQLite DB にimportしたので少し調べてみました。

データは x,y,z path 部分だけても1Gバイト位になって、とても配布には耐えないので効率的な記憶方法を考えて作製してみました。生データのZ=8までは縦2×横2の4倍づつ増加してるのに、Z=9~急にデータ量が減少してます。最初はこのメタデータの信頼性を疑いましたが地図を実際に表示してみて理由が分かりました!
Zと各データソースは
 2~ 8 :地球地図(標高)
 5~ 8 :小縮尺地図(500万分1)
 9~11 :小縮尺地図(100万分1)
12~18 :電子国土基本図
となっていて、8以下は全世界が対象ですが9以上は日本の実測エリアの様でデータ量が減った...のだと思います。
「省略」のデータ数は各レベル(Z)単位でデータを平面にプロットした際、その輪郭部分のみ残したデータです。各タイルの上下左右4つすべてに隣接するタイルがあるデータを省略(削除)しました。また中抜けにも対応するため、上下左右どの面に隣接データが有ったかを付加情報として持たせました。これで任意の位置のタイル有無が判別でき、元データへも可逆変換できます。約30万行(0.58%)まで縮小でき5Mbyte位に小さくなりそうです

因みにメタデータには各タイル単位に取得日時・ファイルサイズ、ハッシュ値(MD5)情報があるため、各レベル(Z)単位でファイルサイズ合計をsum()してみました。こういう時、RDBはSQL一発なので便利ですね。もちろん上記データ処理もSQLで行いました。集計に間違いなければ、仮に国土地理院の全タイルを取得すると111Gbytesですね。思ったよりも少ない...。
128GbytesのμSDやUSBメモリーに入っちゃう♪

0 件のコメント:

コメントを投稿