AWS Step Functionsの単体テスト実施手順

AWS Step Functionsの単体テストをローカル環境で実施したい場合、 AWSのドキュメントに「AWS Step Functions Local」を使った方法が記載されており、 AWS Step Functionsから呼び出す処理(Lamda,SQSなど)をモックする方法もあります。 ステートマシンのローカルテスト | docs.aws.amazon.com …

Forgejoのデータのバックアップ&リストア

以下のエントリでForgejoのバックアップ&リストア手順を示します。 DatabaseにPostgreSQLを使用した手順になります。 手動でのバックアップ&リストア、スクリプト化の順に説明します。 Forgejoのセットアップ・PostgreSQLの設定は、 以下エントリの手順を想定しています。 UbuntuLinuxにForgejoをセットアップする手順 https://takemikami.com/2024/03/18/UbuntuLinuxForgejo.html ForgejoのDB …

ForgejoのDBでPostgreSQLを利用する設定方法

以下のエントリでForgejoのセットアップをしましたが、 Databaseにsqliteを利用していたので、 このエントリではPostgreSQLに変更する手順を示します。 UbuntuLinuxにForgejoをセットアップする手順 https://takemikami.com/2024/03/18/UbuntuLinuxForgejo.html この手順は、以下の内容を参考にしています。 PostgreSQL | Database Preparation | Forgejo …

インターネットに接続できない環境でtiktokenを使う

tiktokenで文字列をエンコードする時、 vocabulary定義をダウンロードするため、 インターネットに接続できない環境では、事前にダウンロードが必要になる。 このエントリでは、その手順を示す。 tiktoken | GitHub https://github.com/openai/tiktoken 該当のダウンロード処理は、次のコードに記載されている。 …

Forgejo Runnerでsetup-pythonを動かした手順メモ

このエントリでは、 Forgejo Runnerでsetup-pythonを動かしたメモを残しておきます。 Forgejo/Runner自体のセットアップ関連は、過去のエントリを参照ください。 UbuntuLinuxにForgejoをセットアップする手順 https://takemikami.com/2024/03/18/UbuntuLinuxForgejo.html Workflowの変更 GitHub Actionsで、 setup-pythonを動かす場合は次のようにWorkflowを記載します。 …

Forgejoでpandocを使ってdocxを表示する設定方法

このエントリでは、 Forgejoでpandocを使ってdocxを表示する設定方法を示します。 また、あわせてDiffの確認できるように設定します。 Forgejoのセットアップ関連は、過去のエントリを参照ください。 UbuntuLinuxにForgejoをセットアップする手順 https://takemikami.com/2024/03/18/UbuntuLinuxForgejo.html ForgejoでJupyteNotebook(ipynb) …

ForgejoでJupyteNotebook(ipynb)を表示する設定方法

このエントリでは、 ForgejoでJupyteNotebook(ipynb)を表示する設定方法を示します。 本エントリは、以下の記事を参考にしています。 How to render Jupyter Notebooks on Gitea | Gitea https://blog.gitea.com/render-jupyter-notebooks/ ※Giteaの記事ですが、Forgejoもほぼ同じ。 Forgejoのセットアップは、過去のエントリを参照ください。 UbuntuLinuxにForgejoをセ …

AWS CloudFormationのテンプレートからパラメータシート生成の検討

このエントリでは、 AWS CloudFormationのテンプレートからパラメータシートを生成して、 実装とパラメータ設計の乖離を防ぐように運用する対応を検討します。 テンプレートからパラメータ生成は次のツールがありますが、 フォーマット等をカスタマイズしたいニーズもあると思うので、 このエントリでは自前で実装することにします。 cfn-docgen - AWS CloudFormationテンプレートからドキュメントを自動生成するツールを公開しました | Qiita …

UbuntuLinuxにMLflowをセットアップする手順

このエントリでは、 UbuntuLinuxにMLflowをセットアップする手順を示します。 MLflow https://mlflow.org/ 試した環境: Ubuntu Linux 22.04.3 MLflow 2.11.1 MLflowのセットアップ 以下の手順に従って、MLflowをセットアップします。 5 Minute Tracking Server Overview | MLflow …

UbuntuLinuxにForgejoをセットアップする手順

このエントリでは、 UbuntuLinuxにForgejoをセットアップする手順を示します。 CI/CDを動かすため、Forgejo runnerもセットアップします。 Forgejo https://forgejo.org/ Forgejo Actions administrator guide | Forgejo https://forgejo.org/docs/next/admin/actions/ 試した環境: Ubuntu Linux 22.04.3 Forgejo 1.21.7 Forgejo …

MoneyForwardを使った家計の見直し手順

2024年から新NISAがはじまるので、 少しでも積立できるお金を増やせるように、 最近の数ヶ月は家計の見直しをしていました。 まだまだ見直しできる点はあると思われるものの、 MoneyForwardを使ってある程度は見直しできたと思うので、 そのノウハウをメモしておきます。 全体の流れは次の通りです。 準備段階 生活費の支払いを銀行引落・振込orクレカに寄せて1ヶ月生活する MoneyForwardのIDを作って、生活費の支払い口座を連携する 「家計簿」で仕分け出来ていない出費を仕分ける 見直し段階 「収 …

2023年、今年買って良かったもの

このエントリでは、 2023年、今年買って良かったと思ったものを紹介していこうと思います。 ※IT技術者っぽいものは出てきません。 ドアのすきま風ストッパー すきま風ストッパー https://www.amazon.co.jp/gp/product/B08LBPHGWZ/ ドアの下側に差し込んで使う隙間風を防ぐやつ、電気代が高くなっているので節電目的です。 ドアの近くにデスクを置いているので、足下が寒くてカーボンヒーターを使っていたのですが、 これを使うようにしてからエアコンのみでしのげるようになりました。 …

pytestのfixtureを使ってPostgreSQLに依存するテストコードを書く

この記事は、ソフトウェアテスト Advent Calendar 2023 の13日目の記事です。 ソフトウェアテスト Advent Calendar 2023 https://qiita.com/advent-calendar/2023/softwaretesting このエントリでは、 pytestのfixtureを使ったPostgreSQLに依存するテストコードの書き方を示します。 DBに対してクエリを実行する処理が含まれるコードは、 単体テストの実行環境を準備するのが面倒になりがちですが、 このエント …

WindowsにMultipassを入れてCloud-initの動作確認環境を用意する

このエントリでは、Cloud-initの設定ファイルを作成する時、 手軽に手元の環境で動作確認をできるよう、WindowsにMultipassを入れて環境を作ってみます。 Multipass https://multipass.run/ Cloud-init https://canonical-cloud-init.readthedocs-hosted.com/en/latest/index.html Multipassをインストールする。 PS> winget install multipass …

CeleryでFastAPIのバックグラウンドジョブを動かす手順

このエントリでは、 CeleryでFastAPIのバックグラウンドジョブを動かす手順をまとめています。 また、動かすプロセスがいくつかあり面倒なので、 Supservisorでまとめて起動できるようにしています。 各プロセスは、次の役割を担います。 FastAPI: ジョブを受け付ける Redis: ジョブのキューを管理する Celery: ジョブを起動する 各ツールのドキュメントは以下を参照してください。 FastAPI https://fastapi.tiangolo.com/ja/ Celery …

Author
takemikami
データエンジニア
・データ分析基盤の開発運用
・マーケティングデータ分析
研究履歴 / 執筆履歴 / プロダクト
facebook
X(twitter)
BlueSky
LinkedIn
YouTube
GitHub
SpeakerDeck
slideshare
Books
takemikami's shop
Recent Posts
    [PR]
    PlayStation
    Steam
    About