MacOSX上のRStudio Previewで、R Notebookを使ってみたので、利用するまでの手順をメモに残しておきます。このエントリで試したのは、以下の点です。RとRStudioPreview版のインストールRStudioからR Notebookのサンプルを表示作成したR NotebookをGitHub Pagesで公開するMySQLに保存されたデータを使ってNoteb...

[ 全文を読む ]
2016/09/24 18:09:29   r rstudio

hivemallのロジスティック回帰のサンプルを動かすまでの流れのメモです。Hadoopとhiveのセットアップサンプルのデータセットとhivemallのダウンロードサンプル(logistic regression)を動かしてみる試すサンプル:<a href="https://github.com/myui/hivemall/wiki/a9a-binary-classification...

[ 全文を読む ]
2016/09/06 01:31:31   hive hivemall

以下のチュートリアルを参考に、HiveのUDFを書いてみたので、作り方のメモを残しておきます。HivePlugins | cwiki.apache.orghttps://cwiki.apache.org/confluence/display/Hive/HivePluginsUDF, UDAF...

[ 全文を読む ]
2016/09/06 01:21:10   hive

昨日(9/3)、「フリーランスミートアップ」にお邪魔してお話を聞いてきたので、感想などをまとめておきます。フリーランス ミートアップhttp://connpass.com/event/34460/<img src="https://connpass-tokyo.s3.amazonaws.com/thumbs/e4/b5/e4b5f3fa2d358a06722...

[ 全文を読む ]
2016/09/04 02:22:51  

MacOSX上に、jupyter notebookとr-essentialsをセットアップする手順をメモとして残しておきます。jupyter notebookのインストールは、以下を参考にしています。Installing Jupyter Notebookhttp://jupyter.readthedocs.io/en...

[ 全文を読む ]
2016/07/20 01:52:06   r jupyter

一昔前までは、facebookと言えば、「○○さん達と飲み会しました、盛り上がって楽しかったです」といったような、いわゆる『リア充アピール』をする場所でした。ところが最近では、そういった中身の無い投稿ばかりでは、facebookを開く価値がなさ過ぎるからなのか、リア充アピールの必死さが痛々しすぎるからなのか、そういった投稿を見ることはほとんど無くなってきました。世の中にはいろいろなSNSがあり、それぞ...

[ 全文を読む ]
2016/06/17 00:57:30  

Rubyからrbhiveを使って、hiveserver2にhqlを投げる方法についてメモです。このメモは、localhostにhiveをセットアップしている前提です。mac上でのhiveのセットアップ方法については、次のエントリを参考にしてください。Mac上でのhiveセットアップ手順（mysql上にmetastoreを作成）<a href="http://takemikami.com/2016/04/20/Machiv...

[ 全文を読む ]
2016/06/16 23:51:58   ruby hadoop hive

Mac上にspark-sqlをセットアップする手順のメモを残しておきます。このメモは、以下手順でhiveのセットアップが完了している前提で説明します。Mac上でのhiveセットアップ手順（mysql上にmetastoreを作成）http://takemikami.com/2016/04/20/Machivemysqlme...

[ 全文を読む ]
2016/06/16 22:24:12   spark hadoop hive

pythonのスクリプトでログを出力しようとして、色々と調べて、結局どうすればよいのかを自分なりに整理したので、メモを残しておきます。このエントリでは、以下の想定要件で、ログ出力を実装してみます。本番環境では、INFOレベル以上をファイルに出力開発環境では、DEBUGレベル以上を標準エラー出力とファイルに出力ログファイルは日ごとにローテションimportするモジュールの...

[ 全文を読む ]
2016/06/11 03:03:25   python

noseという単体テストフレームワークを使って、pythonの単体テストを書いてみたのでメモを残しておきます。nosehttp://nose.readthedocs.io/en/latest/index.htmlインストールpipを使ってインストールします。<div class="hig...

[ 全文を読む ]
2016/06/11 03:03:19   python

Web界隈ではaltjsやscssのファイル更新を監視して自動コンパイルするのが一般的になってきていると思いますが。このエントリでは、そういった方法を真似て、SQLをテンプレートエンジンを利用して書いて、自動的に変換する環境を作ってみることにします。データ界隈の人はpython使う人が多そうなので、pythonで以下のモジュールを使った環境を作ることにします。ファイル監視はwatchdogテンプレートエンジンはmako...

[ 全文を読む ]
2016/05/09 08:14:11   mako watchdog

JIS配列のMac用キーボードで気にいったものを見つけられなかったので、Windows用JIS配列のREALFORCEをMacにつないで使うことにしました。キーボード(REALFORCE) | 東プレhttp://www.topre.co.jp/products/elec/keyboards/# ちなみに私が使用してい...

[ 全文を読む ]
2016/05/08 05:20:53   mac

このエントリでは、Mac上でhdfsにmysqlからデータをロードする手順を記載します。sqoopを利用する手順とembulkを利用する手順を示します。Apache Sqoop:http://sqoop.apache.org/embulk:https://github....

[ 全文を読む ]
2016/05/08 03:59:33   hadoop sqoop embulk

hiveのクエリーの単体テストのやり方を調べてみると、単体検査用のhive実行環境の立ち上げを含めてまるっとやってくれる、HiveQLUnitというフレームワークがあったので、試してみました。このエントリでは、HiveQLUnitを使って単体テストを実施する手順を説明します。HiveQLUnithttp://finraos.github...

[ 全文を読む ]
2016/05/08 01:01:59   hadoop hive hiveqlunit

シェルスクリプトでも単体テストを書いてCIした方が精神衛生上好ましいなと思い、調べてみるとshUnit2という単体テストフレームワークがあったので、これを使って単体テストとCIを実施してみました。 shUnit2https://code.google.com/archive/p/shunit2/CircleCI<br...

[ 全文を読む ]
2016/04/26 22:01:52   bash circleci