Pylint-AirflowというAirflowのDAGのLinterがあったので、試してみました。Pylint-Airflow | GitHubhttps://github.com/BasPH/pylint-airflow2019年から更新されていないので、ちょっと不安だったのですが、問題無く動いてそうです。Airfl...
AirflowのConnectionやVariableは、SecretBackendを使うと、AWS SSM ParameterやGCP Secrets Managerで管理することが出来ます。Alternative secrets backend | Apache Airflow<a href="https://airflow.apache.org/docs/apache-airflow/1.10.10/howto/use-alternative-secr...
このエントリでは、Pythonを使って、Pythonの関数のソースコードを抜き出す方法を示します。日本語で説明しても、何をしようとしているのか分かりにくいと思うので、まず、コードと実行結果を示します。コード: get_func_code.py<span class="k...
IntelliJ IDEA(or PyCharm)を用いた、ローカルPCでのAWS GlueのJobの開発環境の構築メモです。環境の作り方は、以下の公式ドキュメントに記載があるのですが、ある程度pysparkの知識が無いと、公式の説明だけで環境構築するのは無理があると思います。Developing Locally with Python | AWS Glue | AWS Documentation<a href="https:/...
本エントリでは、Pythonのvenv仮想環境にpysparkをセットアップする手順を示します。以下を参考に手順を示します。Installation | Apache Sparkhttps://spark.apache.org/...
このエントリでは、AirflowからEMRを利用する時に、途中のStepから再実行出来るようにする方法を示します。以下のドキュメントに示されているとおり、Amazon EMR Operatorsを利用すると、EMRで処理を実行出来ます。Amazon EMR Operator | Apache Airflow<a href="https://airflow.apache.org/docs/apache-airflow-provide...
Versionを指定したローカルPCへのAirflowのセットアップのメモです。ここでは、MWAA(Amazon Managed Workflows for Apache Airflow)の開発用に、Python 3.7, Airflow 1.10.12 のversionの組み合わせで環境を作ります。※2021年5月時点のMWAAで利用できる最新version以下のセットアップ手順を参考にしています。2.0系と1.10系のやり方を...
Macでデュアルモニタを使って作業中している時に、サブモニタに全画面表示でカレンダー、メール、Slackを表示させているのですが。これらを切り替える時にマウスカーソルをサブモニタに移動させるのが手間なので、キーボードショートカットで切り替えが出来ないかを考えました。Automatorを使って簡単にできたのでメモとして残しておきます。 以下のサイトを参考にさせていただきました。Apple Scriptをショートカ...
IntelliJ IDEAでのTerraform開発を行う場合、以下のプラグインを使うと便利ですが、設定に少し工夫が必要だったのでメモを残しておきます。HashiCorp Terraform / HCL language support https://plugins.je...
このエントリでは、(主に未来の自分に向けて)、Boothの売上データをMoneyFoward会計にインポートするための手順をまとめておきます。Boothで少しだけ技術書を販売しており、記帳が大変になる程の売り上げがある訳でも無いのですが、ミスを防ぐために、売上・入金データの仕訳は機械的に出来るようにしました。↓私のショップの宣伝を入れておきます↓ takemikami's shop | Booth<br...
Macで作業中、照明の明るさを調整したくなった時に、NatureRemoのスマホアプリやリモコンに持ち替えするのが面倒に思い、メニューバーあたりからNatureRemoで操作できないかを調べたところ、簡単にできたのでメモを残しておきます。完成形は、以下のイメージになります。<img src="https://lh3.googleusercontent.com/pw/ACtC-3fHHoli2x535e-sAVqTKCiF9yaDV...
GitHub APIには、REST API、GraphQL APIと言う２種類のAPIがあります。このエントリでは、PythonからこれらのAPIを利用する方法を示します。GitHub REST API | GitHub Docshttps://docs.github.com/en/restGitHub GraphQL API | GitH...
３年前に、GitHubとCircleCIでデプロイ先を切り替える運用のエントリを書いたが、GitHub Actionsで同じ事をやると、とても簡単だったので、やり方のメモを残しておきます。GitHubのPullRequestでデプロイ先環境を切り替える運用方法 | takemikami.comhttps://tak...
機械判読可能なExcelファイルのチェックツールを作ってみたので、このエントリで概要を説明することにします。「機械判読可能な」と言うのは、次の総務省のお知らせにあるようなものです。統計表における機械判読可能なデータの表記方法について | e-Stat 政府統計の総合窓口https://www.e-stat.go.jp/news/20201218...
随分と日が過ぎてから書いていますが、この記事は、アイドルマスター Advent Calendar 2020 の1日目の記事です。アイドルマスター Advent Calendar 2020https://adventar.org/calendars/4976アドベントもあと１週間を切ってしまいましたが、アドベントカレンダーには、まだま...
