motoを使ってPySparkでS3にアクセスする単体テストを書く

このエントリでは、motoを使って、PySparkでS3にアクセスする単体テストを書く手順をまとめます。単体テストはpytestを使います。以下のGitHub Issueを参考にしています。Accessing Mocked S3 Bucket via Pyspark? | spulec/moto | GitHubhttps:/...

direnvでIntelliJ IDEAで指定したVersionのJavaに切り替える

direnvを使うとディレクトリに応じて環境変数の切り替えができるので、JAVA_HOMEを切り替えで、利用するJavaのVersionを変更することが出来ます。direnv/direnv | GitHubhttps://github.com/direnv/direnv参考: direnv で java を切り替える | Qiita<a ...

WSL2&CUDAとIntelliJ IDEAでのPython開発環境構築メモ

このエントリは、WSL2とCUDAを使ったPythonでの開発環境を構築する手順のメモです。Windows上のIntelliJ IDEAから、GPUを利用したPyTorchのサンプルを動かすまでの流れを紹介します。 この手順を行った環境・バージョンは次の通りです。GPUが貧弱ですが。。Windows11 Pro 21H2Intel Core i9-10900K 3.70GHz<...

秀丸エディタをアウトラインプロセッサ風に使う設定メモ

このエントリは、秀丸エディタをアウトラインプロセッサ風に使う設定の個人的なメモです。過去に何度もいろいろなアウトラインプロセッサを試したのですが、使い慣れたエディタを変えることができなくて、結局、エディタのアウトライン機能を使っています。章立てを決めて文章を書く用途に限れば、エディタのアウトライン機能で十分なのかなと、近頃は思っています。そのような背景もあり、個人的な備忘録をかね、ここでは、秀丸エディ...

Chromeのデベロッパーツールの情報からNetworkシーケンス図を作るツールを作った

Webアプリケーションの開発や調査を行っている時、GoogleChromeのデベロッパーツールでNetworkの状況を見ることが多いのですが、ガントチャートではなく、シーケンス図で流れを追いたいこともあるので、シーケンス図を作るツールを作ってみました。har2mmdhttps://takemikami.github.io/har2mmd/</a...

Boothの売上・入金をMoneyForward確定申告・会計に記帳する手順 - 2022年版

以下のエントリのupdateです。Boothの売上・入金をMoneyForward確定申告・会計に記帳する手順 | takemikami.comhttps://takemikami.com/2021/03/26/BoothMoneyForward.html以前の手順ではPythonでBoothのサイトをスクレイ...

SQLのLinter「SQLFluff」を使ってみた

SQLFluffというSQLのLinterがあったので、試してみました。SQLFluff | GitHubhttps://github.com/sqlfluff/sqlfluffSQLFluff | docs.sqlfluff.comhttps:/...

Chromeのデベロッパーツールの情報からNetworkシーケンス図を作る手順

(2022.03.06 追記)Webアプリ化したので、以下のエントリご覧下さい。Chromeのデベロッパーツールの情報からNetworkシーケンス図を作るツールを作った | takemikami.comhttps://takemikami.com/2022/03/06/ChromeNetwork.html<...

VMware ESXi7 Update3cのセットアップから、仮想マシンにcloud-initを適用する流れ

近頃、開発検証用の環境がごちゃごちゃして来たので、久しぶりにESXiをセットアップして、環境を整理しました。このエントリには、そのメモを残しておきます。次の流れを記載します。VMWare ESXi7のダウンロードESXi7のイメージをUSBメモリに書き込むESXi7のインストールVMware Host Clinetへの接続Ubuntu Linuxのク...

作業ディレクトリに応じてGitで除外する(gitignoreする)ファイルの指定を切り替える

作業ディレクトリ毎にGitで除外する(gitignoreする)ファイルを切り替えたかったのですが、結論から言うと「Conditional includes」を使うと実現することが出来ました。Git の設定をリポジトリごとに自動で使い分ける | Articles | Riotz.works<a href="https://riotz.works/articles/lulzneko/2019/06/08/automatically-swich-git-confi...

IntelliJ IDEAの環境設定を切り替える方法

このエントリでは、IntelliJ IDEAの環境設定を切り替える方法を整理します。ちなみに、私が環境を切り替えたいと思った理由は、Pythonのvenvを使っていてSDK設定を多くなり、整理しづらくなったので、IntelliJ IDEAの環境設定を分けることを考えました。参考にしたドキュメントIntelliJ IDEAの環境設定が含まれているディレクトリは、次のドキュメントの通りです。ID...

IntelliJ IDEAのSSHインタープリターの設定を理解するための整理

IntelliJ IDEAやPyCharmなどには、リモートインタープリターという機能があり、この機能を使うと、RemoteHostのPython等でデバッグをすることができます。※Ultimate版の機能です。この機能は、公式ドキュメントの手順通りで利用できます。リモートPythonインタープリターの構成 | IntelliJ IDEA<a href="https://pleiades.io/help/idea/con...

技術書典の売上・入金をMoneyForward確定申告・会計に記帳する手順

この記事は、技術同人誌・商業執筆 Advent Calendar 2021 の8日目の記事です。技術同人誌・商業執筆 Advent Calendar 2021https://adventar.org/calendars/6410このエントリでは、技術書典の売上データをMoneyFoward会計にインポートするための手順をまとめておきます。</...

turtle形式でRDFデータを出力するためのEmbulkプラグイン(embulk-formatter-turtle)のご紹介

昨年、以下のエントリで、SPARQLのクエリで取得したデータを取り込むプラグインを書きました。今回は、逆向きのデータの流れ、手元のデータから、SPARQLのエンドポイント用のデータを出力するプラグインを書きました。SPARQLで取得したデータを入力とするEmbulkプラグイン(embulk-input-sparql)のご紹介<a href="https://takemikami.com/2020/10/17/SPARQLEmbulkemb...

AirflowのDAG単体テストの事始め

この記事は、データ基盤・BIツール・データエンジニアリング Advent Calendar 2021 の5日目の記事です。データ基盤・BIツール・データエンジニアリング Advent Calendar 2021https://qiita.com/advent-calendar/2021/dataengineering</p...

Author
takemikami
データエンジニア
・データ分析基盤の開発運用
・マーケティングデータ分析
研究発表履歴
書籍執筆履歴
facebook
twitter
LinkedIn
Hatena::Bookmark
YouTube
github
slideshare
Books
takemikami's shop
Twitter
Recent Posts
[PR]
タグ
PlayStation
Steam
About