Skip to content

Melnus/Open-Civic-Data-Harvester

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

164 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

🤖 For AI Agents & LLMs (Context File)

開発支援AI(Cursor, ChatGPT, Claudeなど)を使用する場合、以下のファイルを読み込ませることで、プロジェクトの全容、ディレクトリ構造、型定義、変換ロジックを即座に理解させることができます。

  • 📄 LLM.md : This file contains the entire project context, source code, and data structures.

プロンプト例:

LLM.md を読んで、このプロジェクトのデータ変換ロジックとディレクトリ構造を理解してください。

Open-Civic-Data-Harvester 🚜

日本の行政データ(Excel/PDF)を収集し、機械可読なJSON形式に変換してAPI化するためのデータパイプライン。 システムが「現実の物理パラメータ」を吸い上げるための吸入口として機能します。

😠😠😠😠😠😠😠😠😠
😠なお現在は手動です😠
😠😠😠😠😠😠😠😠😠

📁 フォルダ構成

  • xlsx/: 【入力】 ここに行政のExcelファイルを置きます。
  • data/: 【出力】 変換されたJSONがここに生成されます。
  • src/: 変換ロジック(TypeScript)。
src/
 ├── index.ts           # メイン処理(ファイル読み込みとモード振り分け)
 ├── utils.ts           # 共通関数(数値パース、県名正規化など)
 └── modes/             # 各モードのロジック
      ├── settlement.ts # 決算カード
      ├── migration.ts  # 人口移動
      └── population.ts # 人口動態

🛠 使い方

注意

和暦の禁止😠: 令和何年平成何年という書き方ではなく、『FY〇〇〇〇-英語.拡張子』にしてください。これが世界標準です。

📅対応表
❌️和暦 ⭕️西暦
平成27年 2015
平成28年 2016
平成29年 2017
平成30年 2018
平成31年 2019
令和1年 2019
令和2年 2020
令和3年 2021
令和4年 2022
令和5年 2023
令和6年 2024
令和7年 2025
令和8年 2026
令和9年 2027
令和10年 2028

データを狩る(Download)

以下の「主要な狩り場」から最新の統計データ(Excel形式)をダウンロードしてください。

データ種別 狩り場 (URL) 推奨ファイル名 取りに行くもの
地方財政 総務省|地方財政状況調査関係資料|決算カード FYxxxx-settlementcard.xlsx xxxx年度都道府県決算カード
人口移動 統計局ホームページ/住民基本台帳人口移動報告 FYxxxx-migration_prefecture.xlsx 都道府県別社会増減数(xxxx年)
人口動態 総務省|住民基本台帳等|住民基本台帳に基づく人口、人口動態及び世帯数 FYxxxx-population_dynamics_municipal.xlsx 【総計】xxxx年住民基本台帳人口・世帯数、xxxx年人口動態(市区町村別)

github-io によるAI変換モード

👉 変換ポータルを開く

Screenshot

  1. 自分で発行したトークンを入れてください。
    ※パスワード形式なのでこちらに保存されることはありません。
  2. ファイルをアップロードしてください。
  3. 念のため現物と見比べてから保存してください。

github-Actionによる自動変換モード

1. データを投入する(Ingest)

  1. GitHubの xlsx フォルダを開きます。
  2. 右上の「Add file」→「Upload files」を選択します。
  3. ダウンロードしたExcelファイルをドラッグ&ドロップ(または選択)します。
  4. 「Commit changes」を押して保存します。

2. 変換と公開(Auto-Transform)

ファイルがコミットされると、GitHub Actionsが自動的に起動します。

  • 約1〜2分後data/ フォルダに同名の .json ファイルが生成されます。
  • 以下のURLでAPIとしてアクセス可能になります: https://[Your-ID].github.io/[Repo-Name]/data/[ファイル名].json

💻 ローカルでの実行方法 (開発者向け)

手元で変換を試したい場合:

# 1. 依存関係のインストール
npm install

# 2. xlsxフォルダにファイルを置く
cp ~/Downloads/test.xlsx ./xlsx/

# 3. 変換スクリプト実行
npm run harvest

# -> data/test.json が生成されます

About

日本の行政データ(Excel/PDF)を自動収集・構造化し、機械可読なJSON形式に変換するデータパイプライン。文脈解析(Lexicon & FSM)により、表記揺れの多い統計資料を確実にAPI化します。

Topics

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors