このエントリでは、motoを使って、PySparkでS3にアクセスする単体テストを書く手順をまとめます。単体テストはpytestを使います。以下のGitHub Issueを参考にしています。Accessing Mocked S3 Bucket via Pyspark? | spulec/moto | GitHubhttps:/...

[ 全文を読む ]
2022/06/28 20:28:37   pyspark moto pytest

direnvを使うとディレクトリに応じて環境変数の切り替えができるので、JAVA_HOMEを切り替えで、利用するJavaのVersionを変更することが出来ます。direnv/direnv | GitHubhttps://github.com/direnv/direnv参考: direnv で java を切り替える | Qiita<a ...

[ 全文を読む ]
2022/05/31 22:51:40   direnv intellijidea

このエントリは、WSL2とCUDAを使ったPythonでの開発環境を構築する手順のメモです。Windows上のIntelliJ IDEAから、GPUを利用したPyTorchのサンプルを動かすまでの流れを紹介します。 この手順を行った環境・バージョンは次の通りです。GPUが貧弱ですが。。Windows11 Pro 21H2Intel Core i9-10900K 3.70GHz<...

[ 全文を読む ]
2022/05/29 01:48:34   wsl intellijidea python pytorch cuda

このエントリは、秀丸エディタをアウトラインプロセッサ風に使う設定の個人的なメモです。過去に何度もいろいろなアウトラインプロセッサを試したのですが、使い慣れたエディタを変えることができなくて、結局、エディタのアウトライン機能を使っています。章立てを決めて文章を書く用途に限れば、エディタのアウトライン機能で十分なのかなと、近頃は思っています。そのような背景もあり、個人的な備忘録をかね、ここでは、秀丸エディ...

[ 全文を読む ]
2022/05/22 04:11:42   秀丸エディタ

Webアプリケーションの開発や調査を行っている時、GoogleChromeのデベロッパーツールでNetworkの状況を見ることが多いのですが、ガントチャートではなく、シーケンス図で流れを追いたいこともあるので、シーケンス図を作るツールを作ってみました。har2mmdhttps://takemikami.github.io/har2mmd/</a...

[ 全文を読む ]
2022/03/06 16:11:59   mermaid

以下のエントリのupdateです。Boothの売上・入金をMoneyForward確定申告・会計に記帳する手順 | takemikami.comhttps://takemikami.com/2021/03/26/BoothMoneyForward.html以前の手順ではPythonでBoothのサイトをスクレイ...

[ 全文を読む ]
2022/03/04 21:58:24   moneyforward

SQLFluffというSQLのLinterがあったので、試してみました。SQLFluff | GitHubhttps://github.com/sqlfluff/sqlfluffSQLFluff | docs.sqlfluff.comhttps:/...

[ 全文を読む ]
2022/02/16 23:54:36   python sql linter

(2022.03.06 追記)Webアプリ化したので、以下のエントリご覧下さい。Chromeのデベロッパーツールの情報からNetworkシーケンス図を作るツールを作った | takemikami.comhttps://takemikami.com/2022/03/06/ChromeNetwork.html<...

[ 全文を読む ]
2022/02/10 20:34:42   mermaid

近頃、開発検証用の環境がごちゃごちゃして来たので、久しぶりにESXiをセットアップして、環境を整理しました。このエントリには、そのメモを残しておきます。次の流れを記載します。VMWare ESXi7のダウンロードESXi7のイメージをUSBメモリに書き込むESXi7のインストールVMware Host Clinetへの接続Ubuntu Linuxのク...

[ 全文を読む ]
2022/02/06 13:22:54   vmware cloud-init

作業ディレクトリ毎にGitで除外する(gitignoreする)ファイルを切り替えたかったのですが、結論から言うと「Conditional includes」を使うと実現することが出来ました。Git の設定をリポジトリごとに自動で使い分ける | Articles | Riotz.works<a href="https://riotz.works/articles/lulzneko/2019/06/08/automatically-swich-git-confi...

[ 全文を読む ]
2022/02/06 10:36:49   git

このエントリでは、IntelliJ IDEAの環境設定を切り替える方法を整理します。ちなみに、私が環境を切り替えたいと思った理由は、Pythonのvenvを使っていてSDK設定を多くなり、整理しづらくなったので、IntelliJ IDEAの環境設定を分けることを考えました。参考にしたドキュメントIntelliJ IDEAの環境設定が含まれているディレクトリは、次のドキュメントの通りです。ID...

[ 全文を読む ]
2022/01/14 14:03:11   intellijidea

IntelliJ IDEAやPyCharmなどには、リモートインタープリターという機能があり、この機能を使うと、RemoteHostのPython等でデバッグをすることができます。※Ultimate版の機能です。この機能は、公式ドキュメントの手順通りで利用できます。リモートPythonインタープリターの構成 | IntelliJ IDEA<a href="https://pleiades.io/help/idea/con...

[ 全文を読む ]
2022/01/06 18:43:46   intellijidea

この記事は、技術同人誌・商業執筆 Advent Calendar 2021 の8日目の記事です。技術同人誌・商業執筆 Advent Calendar 2021https://adventar.org/calendars/6410このエントリでは、技術書典の売上データをMoneyFoward会計にインポートするための手順をまとめておきます。</...

[ 全文を読む ]
2021/12/08 00:06:45   moneyforward

昨年、以下のエントリで、SPARQLのクエリで取得したデータを取り込むプラグインを書きました。今回は、逆向きのデータの流れ、手元のデータから、SPARQLのエンドポイント用のデータを出力するプラグインを書きました。SPARQLで取得したデータを入力とするEmbulkプラグイン(embulk-input-sparql)のご紹介<a href="https://takemikami.com/2020/10/17/SPARQLEmbulkemb...

[ 全文を読む ]
2021/12/05 22:22:03   embulk

この記事は、データ基盤・BIツール・データエンジニアリング Advent Calendar 2021 の5日目の記事です。データ基盤・BIツール・データエンジニアリング Advent Calendar 2021https://qiita.com/advent-calendar/2021/dataengineering</p...

[ 全文を読む ]
2021/12/05 00:01:33   airflow