Forgejoでpandocを使ってdocxを表示する設定方法

このエントリでは、 Forgejoでpandocを使ってdocxを表示する設定方法を示します。 また、あわせてDiffの確認できるように設定します。 Forgejoのセットアップ関連は、過去のエントリを参照ください。 UbuntuLinuxにForgejoをセットアップする手順 https://takemikami.com/2024/03/18/UbuntuLinuxForgejo.html ForgejoでJupyteNotebook(ipynb) …

ForgejoでJupyteNotebook(ipynb)を表示する設定方法

このエントリでは、 ForgejoでJupyteNotebook(ipynb)を表示する設定方法を示します。 本エントリは、以下の記事を参考にしています。 How to render Jupyter Notebooks on Gitea | Gitea https://blog.gitea.com/render-jupyter-notebooks/ ※Giteaの記事ですが、Forgejoもほぼ同じ。 Forgejoのセットアップは、過去のエントリを参照ください。 UbuntuLinuxにForgejoをセ …

AWS CloudFormationのテンプレートからパラメータシート生成の検討

このエントリでは、 AWS CloudFormationのテンプレートからパラメータシートを生成して、 実装とパラメータ設計の乖離を防ぐように運用する対応を検討します。 テンプレートからパラメータ生成は次のツールがありますが、 フォーマット等をカスタマイズしたいニーズもあると思うので、 このエントリでは自前で実装することにします。 cfn-docgen - AWS CloudFormationテンプレートからドキュメントを自動生成するツールを公開しました | Qiita …

UbuntuLinuxにMLflowをセットアップする手順

このエントリでは、 UbuntuLinuxにMLflowをセットアップする手順を示します。 MLflow https://mlflow.org/ 試した環境: Ubuntu Linux 22.04.3 MLflow 2.11.1 MLflowのセットアップ 以下の手順に従って、MLflowをセットアップします。 5 Minute Tracking Server Overview | MLflow …

UbuntuLinuxにForgejoをセットアップする手順

このエントリでは、 UbuntuLinuxにForgejoをセットアップする手順を示します。 CI/CDを動かすため、Forgejo runnerもセットアップします。 Forgejo https://forgejo.org/ Forgejo Actions administrator guide | Forgejo https://forgejo.org/docs/next/admin/actions/ 試した環境: Ubuntu Linux 22.04.3 Forgejo 1.21.7 Forgejo …

MoneyForwardを使った家計の見直し手順

2024年から新NISAがはじまるので、 少しでも積立できるお金を増やせるように、 最近の数ヶ月は家計の見直しをしていました。 まだまだ見直しできる点はあると思われるものの、 MoneyForwardを使ってある程度は見直しできたと思うので、 そのノウハウをメモしておきます。 全体の流れは次の通りです。 準備段階 生活費の支払いを銀行引落・振込orクレカに寄せて1ヶ月生活する MoneyForwardのIDを作って、生活費の支払い口座を連携する 「家計簿」で仕分け出来ていない出費を仕分ける 見直し段階 「収 …

2023年、今年買って良かったもの

このエントリでは、 2023年、今年買って良かったと思ったものを紹介していこうと思います。 ※IT技術者っぽいものは出てきません。 ドアのすきま風ストッパー すきま風ストッパー https://www.amazon.co.jp/gp/product/B08LBPHGWZ/ ドアの下側に差し込んで使う隙間風を防ぐやつ、電気代が高くなっているので節電目的です。 ドアの近くにデスクを置いているので、足下が寒くてカーボンヒーターを使っていたのですが、 これを使うようにしてからエアコンのみでしのげるようになりました。 …

pytestのfixtureを使ってPostgreSQLに依存するテストコードを書く

この記事は、ソフトウェアテスト Advent Calendar 2023 の13日目の記事です。 ソフトウェアテスト Advent Calendar 2023 https://qiita.com/advent-calendar/2023/softwaretesting このエントリでは、 pytestのfixtureを使ったPostgreSQLに依存するテストコードの書き方を示します。 DBに対してクエリを実行する処理が含まれるコードは、 単体テストの実行環境を準備するのが面倒になりがちですが、 このエント …

WindowsにMultipassを入れてCloud-initの動作確認環境を用意する

このエントリでは、Cloud-initの設定ファイルを作成する時、 手軽に手元の環境で動作確認をできるよう、WindowsにMultipassを入れて環境を作ってみます。 Multipass https://multipass.run/ Cloud-init https://canonical-cloud-init.readthedocs-hosted.com/en/latest/index.html Multipassをインストールする。 PS> winget install multipass …

CeleryでFastAPIのバックグラウンドジョブを動かす手順

このエントリでは、 CeleryでFastAPIのバックグラウンドジョブを動かす手順をまとめています。 また、動かすプロセスがいくつかあり面倒なので、 Supservisorでまとめて起動できるようにしています。 各プロセスは、次の役割を担います。 FastAPI: ジョブを受け付ける Redis: ジョブのキューを管理する Celery: ジョブを起動する 各ツールのドキュメントは以下を参照してください。 FastAPI https://fastapi.tiangolo.com/ja/ Celery …

AWS Batch(Fargate)で、PrivateSubnet上のComputingEnvironmentでECRのPrivateRepositoryからimageをpullして実行する手順

AWS Batch(Fargate)で、 Subnet外にアクセスできないPrivateSubnet上の ComputingEnvironmentでECRのPrivateRepositoryからimageをpullして実行する手順をまとめておきます。 作成するシステムの構成は、次の図のとおりです。 Subnet外のAmazonECRのRepositoryにアクセスするため、 VPC Endpointを利用する構成とします。 右側のAWS Batchの部分を「AWS Batchの環境とJobの準備」の章で 左 …

AWS Secrets Manager emulatorを使う手順

このエントリでは、 AWSのSecretsManagerから情報を取得するアプリケーションを、 ローカルPCで開発する際に便利な、 AWS Secrets Manager emulatorの使い方手順をまとめています。 AWS Secrets Manager emulator https://github.com/skarpdev/hapi-aws-secrets-manager-emulator AWS Secrets Manager emulatorの起動から、 Pythonのアプリケーションから情報を …

AWS Lambdaに対応したLangServeアプリケーションの作成手順

以下のエントリでLangServeを動かしたので、 次はAWS Lambdaに対応したLangServeアプリケーションの作成を考えたいと思います。 LangChainで作ったChainをLangServeでAPI化する手順 https://takemikami.com/2023/11/18/LangChainChainLangServerAPI.html AWS Lambdaのひな形アプリケーションの作成 AWS SAM CLIでAWS Lambdaアプリケーションのひな形を用意します。 sam init …

LangChainで作ったChainをLangServeでAPI化する手順

LangChainで作ったChainをLangServeでAPI化する手順をまとめておきます。 Chainが出来ていれば、add_routeで追加するだけです。 LangServe https://python.langchain.com/docs/langserve Chainを用意する まずは、LangChainのChainを用意します。 チャットで会話するだけの簡単なChainです。 conversation_sample.py from langchain.chat_models import …

DooD(Docker outside of Docker)でDockerコンテナ内からdocker composeを使う

DooD(Docker outside of Docker)という方法を使うと、 Dockerホストで行っていた処理を、Dockerコンテナ内で行うことが出来ます。 但し、Dockerコンテナ内から、Docker Composeを使う場合は、 そのままでは使用することは出来ません。 Docker ComposeがDockerホストのパスを前提に動作するので、 DockerホストとDooDコンテナのパスを合わせる必要があります。 ファイル構成 結論から書くと、以下のような構成で実現できます。 # Docker …

Author
takemikami
データエンジニア
・データ分析基盤の開発運用
・マーケティングデータ分析
研究履歴 / 執筆履歴 / プロダクト
facebook
X(twitter)
BlueSky
LinkedIn
YouTube
GitHub
SpeakerDeck
slideshare
Books
takemikami's shop
Recent Posts
    [PR]
    PlayStation
    Steam
    About