HDD-SEL2という製品を自作PCに組み込んだら、便利にOS切替ができるようになったので、このエントリで紹介します。HDD-SEL2 | Ainexhttps://www.ainex.jp/products/hdd-sel2/<img src="https://lh3.googleusercontent.com/pw/ACtC-3e...

[ 全文を読む ]
2020/07/23 02:00:57  

本エントリでは、IntelliJ IDEAでmypyによるInspectionを利用するための設定手順を示します。# pycharmでも、おそらく同様の手順で設定出来ると思います。ここでは、mypyを利用して、型のアノテーションが抜けている箇所に警告を表示されるように設定してみます。Mypy | readthedocs<a href="https://mypy.readthedocs.io/en/stable/i...

[ 全文を読む ]
2020/07/22 00:49:01   intellijidea python

このエントリでは、DatabricksのPython上で、ファイル削除を高速化する方法を紹介します。Databricksでのファイル一覧の取得・削除の高速化は、以下のKnowledge Baseに手法が書いてありますが、この方法は、Scalaでは可能ですが、PythonのNotebookでは実施できないようです。How to list and delete files faster in Databricks | Dat...

[ 全文を読む ]
2020/07/08 03:24:08   databricks

pysparkでハイパーパラメータのチューニングを行いたいとき、MLflow、MLlibのModel Selectionなどの方法がありますが。ツールをインストールしにくい環境だったり、フレームワークに乗せられるように実装を手直しするのが手間な時のために、評価結果の記録、パラメータグリッドを作る自前関数を作ってみました。MLflowhttps://mlflow....

[ 全文を読む ]
2020/04/22 22:21:23   pyspark

プロジェクトの中で自分だけがIntelliJ IDEA使ってるとか、オープンソースのプロジェクトでIDEが統一されていないとかいった場合でも。自分用にはideaのプロジェクト用設定を管理したいなと思ったのですが。一般的なやり方を見つけることが出来なかったので、やり方を考えてみました。結論から言うと、forkしたリポジトリに別ブランチを作って「.idea」を以下をpushすることにしました。対象のプロジェクトをIntell...

[ 全文を読む ]
2020/01/29 22:26:23   git

このエントリでは、pysparkで、MAXMINDのGeoLite2 Databasesを使用してIPアドレスから国を判定する手順を説明します。MAXMIND GeoLite2 Databaseshttps://dev.maxmind.com/geoip/geoip2/geolite2/Databaseは上記のURLから...

[ 全文を読む ]
2020/01/19 17:22:37   spark

この記事は、JetBrainsIDE Advent Calendar 2019 の20日目の記事です。JetBrainsIDE Advent Calendar 2019https://qiita.com/advent-calendar/2019/jetbrainsIntelliJ IDEAのプラグイン開発ではいろいろな事が出来...

[ 全文を読む ]
2019/12/20 00:46:41   intellijidea

Rails等で作ったちょっとしたWebアプリケーションを動かす時に、Herokuにデプロイするとお手軽で便利ですが。近頃はちょっとしたアプリケーションでも、バックエンド(API)と、フロントエンドのServerSideRenderingなどを組み合わせることも多くなってきました。小さなアプリケーションを試す場合に、バックエンドとフロントエンドで個々にデプロイするのは面倒だと思います。そこで、このエントリでは、...

[ 全文を読む ]
2019/12/19 16:48:05   heroku

この記事は、CI/CD Advent Calendar 2019 の3日目の記事です。CI/CD Advent Calendar 2019https://qiita.com/advent-calendar/2019/ci-cdContinuous Integration というと、一般的にアプリケーションのテストやデプロイを...

[ 全文を読む ]
2019/12/19 02:19:09   rdflint

この記事は、THE iDOLM@STER Series Advent Calendar 2019 の15日目の記事です。THE iDOLM@STER Series Advent Calendarhttps://adventar.org/calendars/3920アイドルマスターシンデレラガールズに登場する小日向美穂というアイドルは、皆さんご...

[ 全文を読む ]
2019/12/16 00:54:44   idolmaster

pysparkでデータ加工のプロセスを書いていると。加工処理①→加工処理②→加工処理③のような流れで、加工処理ごとに中間ファイルを出力しておき、途中から（例えば、加工処理①は行わずに、②③のみ）再実行できるようにしたい場合があります。※ビッグデータを扱う場合は、処理時間がかかるため、こういった要件は多いと思います。再実行を行う場合に、スキップしたい箇所をコメントアウトしたりなどの対応を行うと、ミスの原因となるので、<br...

[ 全文を読む ]
2019/11/01 17:08:26   spark

このエントリではRDFチェックツール「rdflint」に実装した、外れ値検証機能の仕様と、その仕様の検討経緯について紹介します。「rdflint」とは、Linked Open Dataと呼ばれる、インターネット上を通じて、機械での処理に適したデータを公開・共有するための技術に、RDF(Resource Description Framework)というデータを記述する枠組みがあるのですが。この枠組みに基づいて記載された...

[ 全文を読む ]
2019/10/13 20:45:55   rdflint

本エントリでは、pysparkからGraphFramesを利用する手順を示します。pyspark REPLからの利用手順と、IntelliJ IDEAで開発環境を設定する手順を示します。GraphFrameshttps://graphframes.github.io/graphframes/do...

[ 全文を読む ]
2019/08/27 00:39:21   pyspark spark python

このエントリでは、Apache Jena FusekiというSPARQLサーバを、Heroku上で運用する手順を示します。但し、ReadOnlyのデータセットのみを対象とします。Apache Jena Fusekihttps://jena.apache.org/documentation/fuseki2/<...

[ 全文を読む ]
2019/08/01 01:49:36   heroku fuseki sparql

先週(2019/7/6)開催された「IM@S Engineer Talks」という、アイドルマスターを好きなIT系エンジニアが集まって、アイマスの話題を通じ、技術分野を超えた情報交換するLT会イベントで、登壇してきました。このエントリではその振り返りを、書こうと思います。IM@S Engineer Talks 2019 | connpass<a href="https://imas.connpass.com/event/1347...

[ 全文を読む ]
2019/07/14 23:29:04   idolmaster