RStudioPreview版でR Notebookを使ってみたメモ

MacOSX上のRStudio Previewで、R Notebookを使ってみたので、利用するまでの手順をメモに残しておきます。このエントリで試したのは、以下の点です。RとRStudioPreview版のインストールRStudioからR Notebookのサンプルを表示作成したR NotebookをGitHub Pagesで公開するMySQLに保存されたデータを使ってNoteb...

hivemallのロジスティック回帰のサンプルを動かすまでの流れ

hivemallのロジスティック回帰のサンプルを動かすまでの流れのメモです。Hadoopとhiveのセットアップサンプルのデータセットとhivemallのダウンロードサンプル(logistic regression)を動かしてみる試すサンプル:<a href="https://github.com/myui/hivemall/wiki/a9a-binary-classification...

HiveのUDFを作る手順のメモ

以下のチュートリアルを参考に、HiveのUDFを書いてみたので、作り方のメモを残しておきます。HivePlugins | cwiki.apache.orghttps://cwiki.apache.org/confluence/display/Hive/HivePluginsUDF, UDAF...

フリーランスミートアップに行ってきました

昨日(9/3)、「フリーランスミートアップ」にお邪魔してお話を聞いてきたので、感想などをまとめておきます。フリーランス ミートアップhttp://connpass.com/event/34460/<img src="https://connpass-tokyo.s3.amazonaws.com/thumbs/e4/b5/e4b5f3fa2d358a06722...

MacOSXへのjupyter notebookとr-essentialsのセットアップ手順メモ

MacOSX上に、jupyter notebookとr-essentialsをセットアップする手順をメモとして残しておきます。jupyter notebookのインストールは、以下を参考にしています。Installing Jupyter Notebookhttp://jupyter.readthedocs.io/en...

空気読まない力、未だにfacebookでリア充アピールしている人のスキル

一昔前までは、facebookと言えば、「○○さん達と飲み会しました、盛り上がって楽しかったです」といったような、いわゆる『リア充アピール』をする場所でした。ところが最近では、そういった中身の無い投稿ばかりでは、facebookを開く価値がなさ過ぎるからなのか、リア充アピールの必死さが痛々しすぎるからなのか、そういった投稿を見ることはほとんど無くなってきました。世の中にはいろいろなSNSがあり、それぞ...

Rubyからrbhiveを使ってhiveserver2にhqlを投げてみる

Rubyからrbhiveを使って、hiveserver2にhqlを投げる方法についてメモです。このメモは、localhostにhiveをセットアップしている前提です。mac上でのhiveのセットアップ方法については、次のエントリを参考にしてください。Mac上でのhiveセットアップ手順(mysql上にmetastoreを作成)<a href="http://takemikami.com/2016/04/20/Machiv...

Mac上でのspark-sqlのセットアップ手順

Mac上にspark-sqlをセットアップする手順のメモを残しておきます。このメモは、以下手順でhiveのセットアップが完了している前提で説明します。Mac上でのhiveセットアップ手順(mysql上にmetastoreを作成)http://takemikami.com/2016/04/20/Machivemysqlme...

logging.config使ったpythonのロギングについてメモ

pythonのスクリプトでログを出力しようとして、色々と調べて、結局どうすればよいのかを自分なりに整理したので、メモを残しておきます。このエントリでは、以下の想定要件で、ログ出力を実装してみます。本番環境では、INFOレベル以上をファイルに出力開発環境では、DEBUGレベル以上を標準エラー出力とファイルに出力ログファイルは日ごとにローテションimportするモジュールの...

noseを使ったpythonの単体テストのメモ

noseという単体テストフレームワークを使って、pythonの単体テストを書いてみたのでメモを残しておきます。nosehttp://nose.readthedocs.io/en/latest/index.htmlインストールpipを使ってインストールします。<div class="hig...

テンプレートエンジンを使ってSQLを書く環境を作ってみた

Web界隈ではaltjsやscssのファイル更新を監視して自動コンパイルするのが一般的になってきていると思いますが。このエントリでは、そういった方法を真似て、SQLをテンプレートエンジンを利用して書いて、自動的に変換する環境を作ってみることにします。データ界隈の人はpython使う人が多そうなので、pythonで以下のモジュールを使った環境を作ることにします。ファイル監視はwatchdogテンプレートエンジンはmako...

MacにJIS配列のWindows用キーボードを接続する時の設定メモ

JIS配列のMac用キーボードで気にいったものを見つけられなかったので、Windows用JIS配列のREALFORCEをMacにつないで使うことにしました。キーボード(REALFORCE) | 東プレhttp://www.topre.co.jp/products/elec/keyboards/# ちなみに私が使用してい...

hdfsにsqoopとembulkでmysqlからロードする手順

このエントリでは、Mac上でhdfsにmysqlからデータをロードする手順を記載します。sqoopを利用する手順とembulkを利用する手順を示します。Apache Sqoop:http://sqoop.apache.org/embulk:https://github....

HiveQLUnitを使ってhiveの単体テストを実施する手順

hiveのクエリーの単体テストのやり方を調べてみると、単体検査用のhive実行環境の立ち上げを含めてまるっとやってくれる、HiveQLUnitというフレームワークがあったので、試してみました。このエントリでは、HiveQLUnitを使って単体テストを実施する手順を説明します。HiveQLUnithttp://finraos.github...

shUnit2とCircleCIでシェルスクリプトの単体テストをしてみた

シェルスクリプトでも単体テストを書いてCIした方が精神衛生上好ましいなと思い、調べてみるとshUnit2という単体テストフレームワークがあったので、これを使って単体テストとCIを実施してみました。 shUnit2https://code.google.com/archive/p/shunit2/CircleCI<br...

Author
takemikami
読書や創作が趣味なITエンジニア
・データ分析及びアプリ開発
・創作はショートショート
・YUI/FLOWER FLOWERファン
研究発表履歴 | 創作発表履歴
facebook
Google+ Google+
twitter
LinkedIn
Google Play
github
slideshare
Hatena::Bookmark
Recent Posts
[PR]
タグ
あわせて読みたい
[PR]
PlayStation
Twitter
RSS

subscribe via RSS Subscribe with Live Dwango Reader