ポートフォリオ
1. 株価情報取得システム
概要
株価情報を取得してPySparkでデータ加工後、Parquet形式でデータを蓄積するシステム。
GitHubのリポジトリ
https://github.com/gustave-studio/science
使用技術
・PySpark 3.3
・AWS (Glue、StepFunctions、S3、Atena、Event Bridge)
・Parquet形式のデータ
工夫した点
GlueでPySparkを動かすことで、大量データの分散処理を行えるようにした。
また、後々、別のシステムでも株価データを使えるように汎用性の高いCSVで取得し、データ加工、分析と役割を分離した。
2. Djangoで開発した科学情報サイト
概要
科学情報を配信するハドロンニュースというサイトを公開しています。
URL
GitHubのリポジトリ
https://github.com/gustave-studio/science
使用技術
・Python v3.11.4
・Django v4.2.7
・AWS (VPC、EC2、S3、RDB(PostgreSQL)、ELB、Route 53)
インフラ構成図
工夫した点
- DBの操作
EC2上にデプロイしたDjangoからRDSのデータベースにデータを作成、読み出し、削除、更新を行い、ニュースとして表示出来るようにした。
また、フォームからニュースをタイトル検索出来るようにした。 - リッチエディタの開発
Pythonのライブラリである「django-summernote」、「tinycss2」を使用してニュース投稿用のエディタを開発。
Djangoでもブログのように文字のデザイン変更や画像を挿入出来るようにした。
- S3連携
Pythonのライブラリである「boto3」、「django-storages」を使用して投稿画像をS3へ自動アップロード出来るようにした。画像の保存は、Djangoのプロジェクト内のディレクトリに保管することも可能であるが、AWSの適切なサービスに機能を切り離しておくことで、保守性の向上やリプレイスがしやすくなる利点がある。