devpiでPythonのPackageリポジトリを立てる手順

キャッシュなどの目的で、ローカルPCにPythonのPackageリポジトリを立てる場合、以下のような、いくつかの選択肢があるようです。devpi | GitHubhttps://github.com/devpi/devpipypiserver | GitHub<a href="https://github.com/pypiserv...

MinIOを使ってS3にアクセスするpytestの単体テストを書く

pytestでS3にアクセスする処理のテストを書くときは、motoのmock_s3を利用することが一般的だと思います。Moto - Mock AWS Services | GitHubhttps://github.com/spulec/motoテスト対象のライブラリ依存と、motoのライブラリ依存が干渉して、motoが利用出来ないケースに遭遇...

motoを使ってPySparkでS3にアクセスする単体テストを書く

このエントリでは、motoを使って、PySparkでS3にアクセスする単体テストを書く手順をまとめます。単体テストはpytestを使います。以下のGitHub Issueを参考にしています。Accessing Mocked S3 Bucket via Pyspark? | spulec/moto | GitHubhttps:/...

direnvでIntelliJ IDEAで指定したVersionのJavaに切り替える

direnvを使うとディレクトリに応じて環境変数の切り替えができるので、JAVA_HOMEを切り替えで、利用するJavaのVersionを変更することが出来ます。direnv/direnv | GitHubhttps://github.com/direnv/direnv参考: direnv で java を切り替える | Qiita<a ...

WSL2&CUDAとIntelliJ IDEAでのPython開発環境構築メモ

このエントリは、WSL2とCUDAを使ったPythonでの開発環境を構築する手順のメモです。Windows上のIntelliJ IDEAから、GPUを利用したPyTorchのサンプルを動かすまでの流れを紹介します。 この手順を行った環境・バージョンは次の通りです。GPUが貧弱ですが。。Windows11 Pro 21H2Intel Core i9-10900K 3.70GHz<...

秀丸エディタをアウトラインプロセッサ風に使う設定メモ

このエントリは、秀丸エディタをアウトラインプロセッサ風に使う設定の個人的なメモです。過去に何度もいろいろなアウトラインプロセッサを試したのですが、使い慣れたエディタを変えることができなくて、結局、エディタのアウトライン機能を使っています。章立てを決めて文章を書く用途に限れば、エディタのアウトライン機能で十分なのかなと、近頃は思っています。そのような背景もあり、個人的な備忘録をかね、ここでは、秀丸エディ...

Chromeのデベロッパーツールの情報からNetworkシーケンス図を作るツールを作った

Webアプリケーションの開発や調査を行っている時、GoogleChromeのデベロッパーツールでNetworkの状況を見ることが多いのですが、ガントチャートではなく、シーケンス図で流れを追いたいこともあるので、シーケンス図を作るツールを作ってみました。har2mmdhttps://takemikami.github.io/har2mmd/</a...

Boothの売上・入金をMoneyForward確定申告・会計に記帳する手順 - 2022年版

以下のエントリのupdateです。Boothの売上・入金をMoneyForward確定申告・会計に記帳する手順 | takemikami.comhttps://takemikami.com/2021/03/26/BoothMoneyForward.html以前の手順ではPythonでBoothのサイトをスクレイ...

SQLのLinter「SQLFluff」を使ってみた

SQLFluffというSQLのLinterがあったので、試してみました。SQLFluff | GitHubhttps://github.com/sqlfluff/sqlfluffSQLFluff | docs.sqlfluff.comhttps:/...

Chromeのデベロッパーツールの情報からNetworkシーケンス図を作る手順

(2022.03.06 追記)Webアプリ化したので、以下のエントリご覧下さい。Chromeのデベロッパーツールの情報からNetworkシーケンス図を作るツールを作った | takemikami.comhttps://takemikami.com/2022/03/06/ChromeNetwork.html<...

VMware ESXi7 Update3cのセットアップから、仮想マシンにcloud-initを適用する流れ

近頃、開発検証用の環境がごちゃごちゃして来たので、久しぶりにESXiをセットアップして、環境を整理しました。このエントリには、そのメモを残しておきます。次の流れを記載します。VMWare ESXi7のダウンロードESXi7のイメージをUSBメモリに書き込むESXi7のインストールVMware Host Clinetへの接続Ubuntu Linuxのク...

作業ディレクトリに応じてGitで除外する(gitignoreする)ファイルの指定を切り替える

作業ディレクトリ毎にGitで除外する(gitignoreする)ファイルを切り替えたかったのですが、結論から言うと「Conditional includes」を使うと実現することが出来ました。Git の設定をリポジトリごとに自動で使い分ける | Articles | Riotz.works<a href="https://riotz.works/articles/lulzneko/2019/06/08/automatically-swich-git-confi...

IntelliJ IDEAの環境設定を切り替える方法

このエントリでは、IntelliJ IDEAの環境設定を切り替える方法を整理します。ちなみに、私が環境を切り替えたいと思った理由は、Pythonのvenvを使っていてSDK設定を多くなり、整理しづらくなったので、IntelliJ IDEAの環境設定を分けることを考えました。参考にしたドキュメントIntelliJ IDEAの環境設定が含まれているディレクトリは、次のドキュメントの通りです。ID...

IntelliJ IDEAのSSHインタープリターの設定を理解するための整理

IntelliJ IDEAやPyCharmなどには、リモートインタープリターという機能があり、この機能を使うと、RemoteHostのPython等でデバッグをすることができます。※Ultimate版の機能です。この機能は、公式ドキュメントの手順通りで利用できます。リモートPythonインタープリターの構成 | IntelliJ IDEA<a href="https://pleiades.io/help/idea/con...

技術書典の売上・入金をMoneyForward確定申告・会計に記帳する手順

この記事は、技術同人誌・商業執筆 Advent Calendar 2021 の8日目の記事です。技術同人誌・商業執筆 Advent Calendar 2021https://adventar.org/calendars/6410このエントリでは、技術書典の売上データをMoneyFoward会計にインポートするための手順をまとめておきます。</...

Author
takemikami
データエンジニア
・データ分析基盤の開発運用
・マーケティングデータ分析
研究発表履歴
書籍執筆履歴
開発プロダクト
facebook
twitter
LinkedIn
Hatena::Bookmark
YouTube
github
slideshare
Books
takemikami's shop
Recent Posts
[PR]
タグ
AutoHotkey aglio airflow anaconda android angularjs apiblueprint appscript arduino asyncio aurora autohotkey automator autoscaling aws awsglue azure azureml bash bi bigquery bitbucket booth breeze capistrano cassandra celery centos changekey checkstyle chef chrome circleci cloud-init cloudformation cloudwatch clustering colab css csv cuda cui databricks designpattern devise devpi digdag direnv docker drakov dsl dynamodb ec ec2 eclipse elasticsearch embulk emr errbit excel findbugs flask fluent fluentd forgejo fortran fuseki gae gcp gdrive gensim ggplot2 ghostscript git gitbook giter8 github go googlecharttools gr-sakura gradle graphql groovy hadoop hbase heroku hibernate hive hivemall hiveqlunit hiveserver2 hubot hyperas hyperopt hyperv idolmaster igo infobright intellijidea iotlt iptables java javascript jdepend jdk jekyll jest jetty jline jmeter jquery js2py jthree jupyter kenlm keras keras-rl knitr langchain linter llm lxd mac macos mahout mako mathML maven mermaid milkcocoa minio mlflow mllib moneyforward monit moto msgraph msoffice msword msys2 multipass mysql natureremo nginx nodejs nokogiri onedriveforbusiness opencv opsgenie pandas pdf pentaho perl php pmd polycoder process-compose pusher pycharm pyenv pyspark pytest python pytorch r rails rails3 rails4 rbenv rdflint rds repl rnnlm rstudio rubocop ruby s3 sbt scala scikit-learn selenium servlet shippable slack sonarqube spark sparql spotbugs spree spring springboot sql sqoop sqs sublimetext subversion tensorflow terraform textlint threejs tortoisegit twitter vagrant visdom vmware vscode vuejs watchdog webrtc websocket wordpress wsl 形態素解析 秀丸エディタ 負荷テスト 開発管理
PlayStation
Steam
About