SPARQLのクエリでさまざまなendpointから、データをバルクロード出来るように、Embulkのプラグインを書いたので、その概要と使い方を紹介します。embulk-input-sparql | GitHubhttps://github.com/takemikami/embulk-input-sparql<...

[ 全文を読む ]
2020/10/17 05:08:02   embulk sparql

Pythonを使ってAPI経由で、OneDrive for Businessのファイルを扱いたく、実装方法を調べていたのですが。難しくは無いものの、いろいろと混乱してしまい時間がかかったので、メモを残しておこうと思います。アクセスするサービス・利用するAPIAPIを考える前に、マイクロソフトが提供しているサービスには、以下のように「OneDrive for Business」と似たサービスがあります。</p...

[ 全文を読む ]
2020/10/11 01:37:06   msgraph onedriveforbusiness flask python

Google ColaboratoryでpandasのDataFrameを表示する際、「カラムの中の最大値を赤字にする」といったようなスタイルを適用する時に、既定のスタイルが外れてしまう問題があったので、対応方法をまとめておきます。そもそもpandasのDataFrameにスタイルを適用する時は、以下のStylerを使います。 pandas.io.formats.style.Styler | pandas API reference<br...

[ 全文を読む ]
2020/10/10 16:18:26   python pandas colab

ソードアート・オンラインのテレビアニメに出てくるユーザインターフェイスって、フラットデザインだよなぁ、と以前から思っていたのですが。フラットデザインは、(VRのような)３次元空間のユーザインターフェイスに適している、相性が良いと言う事を、何年も前から言っていて、なかなか理解してもらえないので、つらつら書いてみようと思います。# 完全に素人なので、単に自分が思っていることを書くだけなのですが。そもそもフラットでは...

[ 全文を読む ]
2020/09/20 19:48:41  

HDD-SEL2という製品を自作PCに組み込んだら、便利にOS切替ができるようになったので、このエントリで紹介します。HDD-SEL2 | Ainexhttps://www.ainex.jp/products/hdd-sel2/<img src="https://lh3.googleusercontent.com/pw/ACtC-3e...

[ 全文を読む ]
2020/07/23 02:00:57  

本エントリでは、IntelliJ IDEAでmypyによるInspectionを利用するための設定手順を示します。# pycharmでも、おそらく同様の手順で設定出来ると思います。ここでは、mypyを利用して、型のアノテーションが抜けている箇所に警告を表示されるように設定してみます。Mypy | readthedocs<a href="https://mypy.readthedocs.io/en/stable/i...

[ 全文を読む ]
2020/07/22 00:49:01   intellijidea python

このエントリでは、DatabricksのPython上で、ファイル削除を高速化する方法を紹介します。Databricksでのファイル一覧の取得・削除の高速化は、以下のKnowledge Baseに手法が書いてありますが、この方法は、Scalaでは可能ですが、PythonのNotebookでは実施できないようです。How to list and delete files faster in Databricks | Dat...

[ 全文を読む ]
2020/07/08 03:24:08   databricks

pysparkでハイパーパラメータのチューニングを行いたいとき、MLflow、MLlibのModel Selectionなどの方法がありますが。ツールをインストールしにくい環境だったり、フレームワークに乗せられるように実装を手直しするのが手間な時のために、評価結果の記録、パラメータグリッドを作る自前関数を作ってみました。MLflowhttps://mlflow....

[ 全文を読む ]
2020/04/22 22:21:23   pyspark

プロジェクトの中で自分だけがIntelliJ IDEA使ってるとか、オープンソースのプロジェクトでIDEが統一されていないとかいった場合でも。自分用にはideaのプロジェクト用設定を管理したいなと思ったのですが。一般的なやり方を見つけることが出来なかったので、やり方を考えてみました。結論から言うと、forkしたリポジトリに別ブランチを作って「.idea」を以下をpushすることにしました。対象のプロジェクトをIntell...

[ 全文を読む ]
2020/01/29 22:26:23   git

このエントリでは、pysparkで、MAXMINDのGeoLite2 Databasesを使用してIPアドレスから国を判定する手順を説明します。MAXMIND GeoLite2 Databaseshttps://dev.maxmind.com/geoip/geoip2/geolite2/Databaseは上記のURLから...

[ 全文を読む ]
2020/01/19 17:22:37   spark

この記事は、JetBrainsIDE Advent Calendar 2019 の20日目の記事です。JetBrainsIDE Advent Calendar 2019https://qiita.com/advent-calendar/2019/jetbrainsIntelliJ IDEAのプラグイン開発ではいろいろな事が出来...

[ 全文を読む ]
2019/12/20 00:46:41   intellijidea

Rails等で作ったちょっとしたWebアプリケーションを動かす時に、Herokuにデプロイするとお手軽で便利ですが。近頃はちょっとしたアプリケーションでも、バックエンド(API)と、フロントエンドのServerSideRenderingなどを組み合わせることも多くなってきました。小さなアプリケーションを試す場合に、バックエンドとフロントエンドで個々にデプロイするのは面倒だと思います。そこで、このエントリでは、...

[ 全文を読む ]
2019/12/19 16:48:05   heroku

この記事は、CI/CD Advent Calendar 2019 の3日目の記事です。CI/CD Advent Calendar 2019https://qiita.com/advent-calendar/2019/ci-cdContinuous Integration というと、一般的にアプリケーションのテストやデプロイを...

[ 全文を読む ]
2019/12/19 02:19:09   rdflint

この記事は、THE iDOLM@STER Series Advent Calendar 2019 の15日目の記事です。THE iDOLM@STER Series Advent Calendarhttps://adventar.org/calendars/3920アイドルマスターシンデレラガールズに登場する小日向美穂というアイドルは、皆さんご...

[ 全文を読む ]
2019/12/16 00:54:44   idolmaster

pysparkでデータ加工のプロセスを書いていると。加工処理①→加工処理②→加工処理③のような流れで、加工処理ごとに中間ファイルを出力しておき、途中から（例えば、加工処理①は行わずに、②③のみ）再実行できるようにしたい場合があります。※ビッグデータを扱う場合は、処理時間がかかるため、こういった要件は多いと思います。再実行を行う場合に、スキップしたい箇所をコメントアウトしたりなどの対応を行うと、ミスの原因となるので、<br...

[ 全文を読む ]
2019/11/01 17:08:26   spark