Digdagとは、主に、データ基盤でのETL処理のワークフローを定義・実行するためのワークフローエンジンで。TresureDataが公開しているオープンソースソフトウェアです。Digdagのワークフローで、次のような処理の定義をしたかったのですが、上手く書く方法が見つけられなかったので、プラグインを作ってみました。データベースに対してクエリを投げる得られた結果に対して同様の処理を...

[ 全文を読む ]
2018/06/08 21:35:10   digdag

GoogleAppEngineのJavaアプリケーションからCloud Datastoreを利用するためのObjectifyというライブラリがあります。2018年4月に、このライブラリのv6がリリースされたのですが、過去のバージョンと大きく仕組みが変わっているので、その内容のメモを残しておきます。objectify:https://githu...

[ 全文を読む ]
2018/05/16 03:30:51   java gae gcp springboot

Javaのプロジェクトを行うときにコーディング規約を決めてCIでチェックする運用を行いたいが。IDEAのformatterとCIでのチェックが揃っていないと、その差分を手作業で修正する必要があり、面倒さを感じます。このエントリでは、IntelliJ IDEAのformatterと、GradleのChecksytleの両方に、「Google Java Style」という規約を適用する手順を説明します。Google...

[ 全文を読む ]
2018/02/27 03:56:11   intellijidea circleci java

RubocopというRubyの文法チェッカがありますが、これをCircleCI等のCIツールで実行してチェックしている人も多いと思います。Rubocop:https://github.com/bbatsov/rubocopRubocopに限らずですが、このような静的チェックツールは、既存のリポジトリに追加しようとすると、既存...

[ 全文を読む ]
2018/01/30 02:51:04   rubocop ruby circleci

この記事は、ソフトウェアテストの小ネタ Advent Calendar 2017 の15日目の記事です。ソフトウェアテストの小ネタ Advent Calendar 2017https://qiita.com/advent-calendar/2017/software-testing-koneta『な...

[ 全文を読む ]
2017/12/14 16:36:05   textlint rails

Giter8というツールを使うと、sbtでプロジェクトを開始する時のディレクトリ構成・定義ファイルなどを生成出来ます。このエントリでは、オリジナルのテンプレート作成の流れを整理します。Giter8http://www.foundweekends.org/giter8/index.htmlGiter8を使ってみ...

[ 全文を読む ]
2017/09/27 12:35:38   sbt scala giter8

gitを使って開発を行っている時、gitの管理下に含めたくないファイルを.gitignoreに指定しますが、自分の開発環境のみに依存するファイルをプロジェクトの.gitignoreに含めるのはスマートでは無い。そこで、自分の開発環境のみに依存するファイルを共通でgit管理から除外するため、~/.config/git/ignoreに除外対象ファイルを記載します。<...

[ 全文を読む ]
2017/09/14 03:20:48   git

Spark上でmahoutを使ってitemsimilarityを計算する場合は、以下の記事で紹介されている「spark-itemsimilarity」のバッチを使って実行することができます。Intro to Cooccurrence Recommenders with Spark | mahout<a href="https://mahout.apache.org/users/algorithms/intro-cooccurrence-spark.html...

[ 全文を読む ]
2017/08/16 17:34:26   mahout spark

職場環境の制約等で、MacやMSYS2(Windows)のterminalを操作していると。キー操作の違いにストレスを感じるので、なるべく違和感なく操作できるように、MSYS2側をMacっぽく操作できるように設定してみました。# Macの操作方法が良いという理由ではなく、# 個人的にMacの操作方法に慣れているからです。この手順では以下のソフトを使います。MSYS2/mintty...

[ 全文を読む ]
2017/08/12 01:02:37   autohotkey changekey msys2

hiveのUDFを開発・デバッグしている時に、UDFの挙動をログに出力して確認したいことがあるので。hiveのUDFで、ログを出力し確認する方法をまとめておきます。UDFの作り方は、以下のエントリを参考にしてください。HiveのUDFを作る手順のメモ | takemikami.comhttp://takemikami.c...

[ 全文を読む ]
2017/08/09 23:26:07   hive

ハイパーパラメータを最適化するために探索を行う、hyperoptというpythonのライブラリがありますが。これをニューラルネットワークライブラリのkerasで利用するための、hyperasというラッパーがあります。hyperopt | githubhttps://github.com/hyperopt/hyperopt...

[ 全文を読む ]
2017/07/31 22:21:57   keras-rl keras hyperopt hyperas

terminal操作に慣れている人がWindows上でデータ分析を際に、linuxやmacosとなるべく同じような感覚でpython, R, atomを使用するための環境を作る手順のメモです。terminalにはMSYS2, minttyを利用して、terminalからpython, jupyter, Rを起動できるように、また、atomをatom ./スタイルで起動できるように設定していきます。<p...

[ 全文を読む ]
2017/07/31 04:49:29   msys2

iTunesのプレイリストをwalkmanに同期できないかと、iTunesとwalkmanのプレイリストについて調べてみたら割と簡単そうだったので、Pythonで同期するスクリプトを書いてみました。作成したスクリプトは以下のgistに上げています。https://gist.github.com/...

[ 全文を読む ]
2017/07/26 03:43:59  

以下のエントリの続きで、今度はCentOS7用にcloud-init設定ファイルの開発環境を作ります（前回はUbuntu）。UbuntuServerでcloud-initの設定ファイルを開発する環境の作り方 | takemikami's notehttp://takemikami.com/2017/06/07/U...

[ 全文を読む ]
2017/06/07 18:12:49   cloud-init lxd

AWSのEC2の初期化には、cloud-initを使うことも多いと思いますが。cloud-initの設定を修正する度に、EC2のインスタンスを起動し直しているとお金も時間もかかってしまいます。このエントリでは、UbuntuServerにLXDを設定して、cloud-initの設定を開発・動作確認するための環境を作ることにします。環境は以下の流れで作ります。UbuntuServerのインストール</li...

[ 全文を読む ]
2017/06/07 13:07:04   cloud-init lxd