やりたいこと Dockerでbuild, 実行できるようにしたpythonバッチ処理を、Fargateで定時起動したい
構成 TBD
ECR - docker image登録 ECR - ECS上でFargateタスク実行 MySQL on
アプリケーション 概要 pythonモジュール。MySQLのテーブルを紹介して整形し、CSVに出力、S3のbucketにアップロードする ディレクトリ構成 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Project Root ├── .env.local # ローカル環境用の環境変数 ├── .env.staging # ステージング環境用の環境変数 ├── .env.prod # 本番環境用の環境変数 ├── .gitignore ├── Dockerfile ├── Makefile ├── README.md ├── docker-compose.yml ├── docs # sphinx-apidocによるドキュメント生成先 ├── log # ログ出力先 ├── my_batch │ ├── __init__.
やりたいこと GWSのドメインを新ドメインに変更する。 旧: first-domain.com 新: second-domain.com ドメイン変更にあたり、GWSのアカウント名も変更する 旧: user1@first-domain.com 新: user2@second-domain.com 古いドメインはセカンダリドメインとしてメール送受信が行えるようにする 実施方法 基本的にGWS Admin Helpのガイド Change your primary domain for Google Workspaceに従って実施する。
Step 1: Prepare for the switch Step 2: Add your new domain and set up email Step 3: Switch to new primary domain Step 4: Switch users and groups to your new domain Step 5: Use or remove the old primary domain Step 6: Update your Google Workspace settings (Optional) Share instructions with your users 以下は実施した際のメモ。
やりたいこと 組織にGoogle Workspaceを導入し、“info@組織ドメイン” などの共有メールアドレスを設定して、外部とのメールのやり取りを行う。
共有メールアドレスは、組織内の複数のユーザーが受信し、送信時にはユーザーが送信者を個人/共有アドレスに切り替えられるように設定する。
やったこと 1. Google Workspace上でのグループ作成 1.1 Business用のGroup設定 必要に応じて、Business用のGroup設定をONにする。
Business用のグループ設定On/Off時の機能の比較は、GWS Admin Helpページを参照。
切り替える場合、
Sign in to your Google Admin console (using an administrator account) In the Admin console, go to Menu, Apps > Google Workspace > Groups for Business. Click Service status. To turn a service on or off for everyone in your organization, click On for everyone or Off for everyone, and then click Save. 詳細はサポートページ参照: https://support.
TL;DR Setup GPU instance (p2.xlarge) Install GPU Driver (https://docs.nvidia.com/datacenter/tesla/) Install nvidia-container-toolkit (hKps://github.com/NVIDIA/nvidia-docker) nvidia-smi FROM nvidia/cuda:12.1.1-cudnn8-runtime-ubuntu22.04 docker run –gpus all image Capacity Reservation On EC2 dashboard, Capacity Reservation > Create a Capacity Reservation
Instance type: p2.xlarge Availability zone: us-east-1a Total capacity: 1 instances Capacity reservation detail: At specific time and set due. Then Create, there is a warning on that.
1 You have requested more vCPU capacity than your current vCPU limit of ${normalized_limit} allows for the instance bucket that the specified instance type belongs to.
Install Docker on EC2 1 2 3 ssh -i ~/.ssh/xxx.pem ubuntu@<hostname> sudo apt-get update sudo apt-get install docker.io docker images fails by permission denied error. So, we make a group name docker and add ubuntu user.
1 sudo gpasswd -a ubuntu docker Then docker images works.
Option 1: Upload docker image to AWS There are several cases to do upload docker image to AWS.
Docker container is useful when building the data analysis environment with fixed version of software (e.g. ubuntu, jupyterlab, or anaconda).
Dockefile 1 2 3 4 5 6 FROM ubuntu:latest RUN apt-get update && apt-get install -y \ sudo wget \ vim WORKDIR /opt RUN wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh Build image As my environment is M1 Mac (Apple Silicon), I needed to add --platform linux/amd64 option.
1 docker build --platform linux/amd64 .