このエントリでは、Cloud-initの設定ファイルを作成する時、手軽に手元の環境で動作確認をできるよう、WindowsにMultipassを入れて環境を作ってみます。Multipasshttps://multipass.run/Cloud-init<a href="https://canonical-cloud-init.readthedocs-hoste...
このエントリでは、CeleryでFastAPIのバックグラウンドジョブを動かす手順をまとめています。また、動かすプロセスがいくつかあり面倒なので、Supservisorでまとめて起動できるようにしています。各プロセスは、次の役割を担います。FastAPI: ジョブを受け付けるRedis: ジョブのキューを管理するCelery: ジョブを起動する<...
AWS Batch(Fargate)で、Subnet外にアクセスできないPrivateSubnet上のComputingEnvironmentでECRのPrivateRepositoryからimageをpullして実行する手順をまとめておきます。作成するシステムの構成は、次の図のとおりです。<img src="https://lh3.googleusercontent.com/pw/ADCreHe2zRGkdgMdf0n_jXhdg7Kwc...
このエントリでは、AWSのSecretsManagerから情報を取得するアプリケーションを、ローカルPCで開発する際に便利な、AWS Secrets Manager emulatorの使い方手順をまとめています。AWS Secrets Manager emulatorhttps://github....
以下のエントリでLangServeを動かしたので、次はAWS Lambdaに対応したLangServeアプリケーションの作成を考えたいと思います。LangChainで作ったChainをLangServeでAPI化する手順https://takemikami.com/2023/11/18/LangChainC...
LangChainで作ったChainをLangServeでAPI化する手順をまとめておきます。Chainが出来ていれば、add_routeで追加するだけです。LangServehttps://python.langchain.com/docs/langserveChainを用意するまずは、LangChai...
DooD(Docker outside of Docker)という方法を使うと、Dockerホストで行っていた処理を、Dockerコンテナ内で行うことが出来ます。但し、Dockerコンテナ内から、Docker Composeを使う場合は、そのままでは使用することは出来ません。Docker ComposeがDockerホストのパスを前提に動作するので、DockerホストとDooDコンテナのパスを合わせる必要があります。<...
Hyper-Vに開発用UbuntuLinux22.04環境を作るときに参考にしたサイトのメモです。想定OSは、Windows11Proです。このエントリでは、以下の点についてメモを残しています。Hyper-V・UbuntuLinuxのセットアップWindowsとの運用環境ネットワークWSLとの接続Windows TerminalからのSSH接続<...
PolyCoderというプログラミング言語の大規模言語モデルを動かして、コード生成を試してみたので、その手順メモを残しておきます。Large Models of Source Code | GitHubhttps://github.com/VHellendoorn/Code-LMsPolyCoderが何なのかは、次の記事を見てもらえ...
日本語Wikipediaのデータで言語モデル(KenLM, RNNLM)を学習させる手順のメモです。kenlm | GitHubhttps://github.com/kpu/kenlmFaster RNNLM (HS/NCE) toolkit | GitHub...
このエントリでは、Docker Composeを使って、テスト対象の起動からテスト実行までをまとめて実行したい時に、必要になりそうなノウハウを取り上げます。ここでは、次のような要件があると考えました。開発環境構築用docker-compose.yamlはそのまま変更せず、テスト実行用のコンテナを追加したいテストの成否によってDocker Compose実行後の終了コードを変えたい...
IntelliJ IDEAとWSLで開発したい時、開発環境の構成パターンはいくつかあるので、それぞれについて整理したメモを、このエントリに残しておきます。UI、IDE、実行環境をWindows側・WSL側(Linux)のどちらで動かすかで整理すると、以下のような構成パターンがあります。他にもあるかも知れないですがパターンUIIDE...
GoogleCloudPlatformのエミュレータをローカルPC上でdockerを使って動かす時のメモです。エミュレータを起動して、Pythonのコードでアクセスしてみます。ここでは、以下３サービスを動かしてみます。bigtablepubsubstoragedatastore, firestore, spanner も同様の手順で利用できると思います。</...
docker-composeは決まった形式でプロセスの起動方法を書けるので便利ですが、手元のPCに開発環境を作る場合など、プロセスの起動管理をしたいだけの時は、docker前提だとtoo-muchで扱いにくい事も多いです。調べてみるとdocker前提で無くdocker-composeライクに起動管理するツールがありました。Process Compose | GitHub<a href="https://github.com/F1b...
Dockerでコンテナ化されたWebアプリケーションに対して、システム時間を変化させたテストを実行したかったので、手順をまとめました。ここでは、libfaketimeというものを使います。libfaketime | GitHubhttps://github.com/wolfcw/libfaketime対象のWebアプリ...
