2017/06/20 Meta data for DENSHI-KOKUDO map tiles

2017/06/20 電子国土 地図タイル メタデータがezjnxwinに使えるか？

Unfortunately this text is in Japanese only.
GPS地図関連に
　「地理院タイル目録 https://github.com/gsi-cyberjapan/mokuroku-spec/
を使うようにすればHTTP404対策が可能は無いでしょうか？」。
とコメントをいただいたので調べてみました。ファイル内容は全タイルのサイズ、更新日時、MD5というものの様です。.gz解凍後のCVS形式で約３ギガバイト。。。先頭と末尾部分。５千万行もあります(^_^;

 1  0/0/0.png,1457603626,77992,7186204bdc21218bf6d9dd0a39b17ef8
 2  1/0/0.png,1457603627,75099,8abde99545d93135816895dd90871856
 3  1/0/1.png,1457607266,49114,b1c45de27b2532a2c11710ad22851675
 4  1/1/0.png,1457607264,76255,0d99409cff6edaad7a722a262a133180
 5  1/1/1.png,1457603624,46597,15ca0df415ce6a3274edf96f65ac65f5
 6  10/861/365.png,1450706972,222,738667a1b2ac6a61a03addc227320bb8
 7  10/861/366.png,1450706950,222,edd701bef084ea879f7845e5cf140266
 8  10/861/367.png,1450706951,222,c43784cad649d3664a2aaf68f035b6fa
 9  10/861/368.png,1450706949,222,beca812cd632578f01f066cda486c8e6
10  10/861/369.png,1450706970,222,8ea3c54f6da6e594e5f90a2b3e81bdbb


50786220 9/475/225.png,1450493985,245,24c8785b9fa816bcd58705dc6c9466f0
50786221 9/475/226.png,1450493985,167,224fc21aaa14b04d1184f143bf880e4c
50786222 check_xyz_overlay.html,1494211591,8081,427d3fb00cb72f371e663d751e2c2768
50786223 {z}/{x}/{y}.png,1459157325,2772,0bf10793eb58a94f6a174c39001d98fc

末尾の２行は形式が違いますね。check_xyz_overlay.htmlは実在しました。デバック用かな？
プログラム組むのも億劫なのでWindows PowerShell で処理してSQLiteに取り込もうとしたら型のエラーが出て調べると不要なデータが。。。PowerShell は所詮スクリプトなので便利だけどデータが大きいため遅くてイライラ。linuxに切り替えました。

$ grep "Thumbs" CatalogFull.csv
12/3557/Thumbs.db,1491710479,33792,04918ce0922b455a27e7f73edc18e0f7
13/7114/Thumbs.db,1491710479,27648,89798295b7c81eddd581bf34eed2cdc7
13/7115/Thumbs.db,1491710479,46592,dc38e8ef224a530c8ad20f5ad88b28ce
14/14222/Thumbs.db,1491710479,29184,f7ce1c2c95618928049a6d9c69ada629
14/14223/Thumbs.db,1491710479,40448,72584412ed0b7ba517c03dccd5e700fc
14/14226/Thumbs.db,1491710479,48128,fe9c4780082945928ccd89cb3a075b46
14/14229/Thumbs.db,1491710479,45568,e4b384919731feb92138f46060af9581
14/14230/Thumbs.db,1491710479,41472,236543cf9543d7cf3c58c8bc524aae6b
14/14231/Thumbs.db,1491710479,43520,0b442c7c9ea8b0977d649dfd099b3c99

"Thumbs.db" って、これgithubに上げる前にWindowsで画像確認してできたサムネイルファイルを一緒にプログラムで処理して固めちゃったんでしょうか？
〇不要な最終行とThumbs.dbの行の削除。行先頭のz/x/y → z,x,y に変換。
　$ cat mokuroku.txt | sed  -e "/Thumbs.db/d" -e "/^[c{]/d" -e "s/.png//g" -e "s/\//,/g"
〇先頭のz,x,y のみなら
　$ cat mokuroku.txt | sed  -e "/Thumbs.db/d" -e "/^[c{]/d" -e "s/\..*//g" -e "s/\//,/g"

因みにPowerShellだとこんな感じかな。
　gc w:\mokuroku.csv | foreach { $_.substring(0,$_.IndexOf(".")).replace("/",",") }
　gc w:\mokuroku.csv | foreach { $_.replace(".png","").replace("/",",") }

試しに２つのCSVをSQLite.dbにテーブル切ってインポートしてみました。インポート プログラムも作製したくなかったので業務使用にも十二分に耐える 「A5:SQL Mk-2」 というFreeWare を使いました。コレ、便利でblog型の画像を表示する機能もあります。予想はしてましたが５ギガバイト！もあります。
HTTP404対応だけであれば z,x,y のみで良いケド、１ギガバイト前後はあるでしょうね。効率的な記憶方法を考えないとチョットですねぇ～ と、いう事で保留に。