Rubyからrbhiveを使って、hiveserver2にhqlを投げる方法についてメモです。このメモは、localhostにhiveをセットアップしている前提です。mac上でのhiveのセットアップ方法については、次のエントリを参考にしてください。Mac上でのhiveセットアップ手順（mysql上にmetastoreを作成）<a href="http://takemikami.com/2016/04/20/Machiv...
Mac上にspark-sqlをセットアップする手順のメモを残しておきます。このメモは、以下手順でhiveのセットアップが完了している前提で説明します。Mac上でのhiveセットアップ手順（mysql上にmetastoreを作成）http://takemikami.com/2016/04/20/Machivemysqlme...
pythonのスクリプトでログを出力しようとして、色々と調べて、結局どうすればよいのかを自分なりに整理したので、メモを残しておきます。このエントリでは、以下の想定要件で、ログ出力を実装してみます。本番環境では、INFOレベル以上をファイルに出力開発環境では、DEBUGレベル以上を標準エラー出力とファイルに出力ログファイルは日ごとにローテションimportするモジュールの...
noseという単体テストフレームワークを使って、pythonの単体テストを書いてみたのでメモを残しておきます。nosehttp://nose.readthedocs.io/en/latest/index.htmlインストールpipを使ってインストールします。<div class="hig...
Web界隈ではaltjsやscssのファイル更新を監視して自動コンパイルするのが一般的になってきていると思いますが。このエントリでは、そういった方法を真似て、SQLをテンプレートエンジンを利用して書いて、自動的に変換する環境を作ってみることにします。データ界隈の人はpython使う人が多そうなので、pythonで以下のモジュールを使った環境を作ることにします。ファイル監視はwatchdogテンプレートエンジンはmako...
(2018.9.17追記)macOS Sierra以降はこのエントリの方法では設定できません。以下の記事が参考になると思います。macOS Sierra で外付けキーボード設定ツール Karabiner と Seil が使えなくなった際の対処法 | Qiitahttps://qiita.com/kamoc/i...
このエントリでは、Mac上でhdfsにmysqlからデータをロードする手順を記載します。sqoopを利用する手順とembulkを利用する手順を示します。Apache Sqoop:http://sqoop.apache.org/embulk:https://github....
hiveのクエリーの単体テストのやり方を調べてみると、単体検査用のhive実行環境の立ち上げを含めてまるっとやってくれる、HiveQLUnitというフレームワークがあったので、試してみました。このエントリでは、HiveQLUnitを使って単体テストを実施する手順を説明します。HiveQLUnithttp://finraos.github...
シェルスクリプトでも単体テストを書いてCIした方が精神衛生上好ましいなと思い、調べてみるとshUnit2という単体テストフレームワークがあったので、これを使って単体テストとCIを実施してみました。 shUnit2https://code.google.com/archive/p/shunit2/CircleCI<br...
このエントリでは、Mac上にHBaseをセットアップする手順のメモを残しておきます。HBaseのセットアップHBase Shellからの動作確認hbase:https://hbase.apache.org/(参考) 2.3.Intermediate - Pseudo-Distributed Local In...
Mac上にhiveをセットアップする手順のメモを残しておきます。この手順では、hiveのmetastoreにmysqlを使用します。Hadoopとhdfsのセットアップhiveのセットアップとmetastoreの設定Hadoopとhdfsのセットアップhomebrewを使ってhadoopをインストール、その後必要となる設定を行います。インストール</h2...
Mac上にhadoop/hiveを入れて、S3上のファイルをhiveでアクセスするまでの手順のメモを残しておきます。HadoopとhiveのセットアップS3上のファイルへのアクセス設定S3上のTSVファイルへのクエリ実行S3上にクエリの実行結果を保存Hadoopとhiveのセットアップhomebrewを使ってhadoopとhiveのインストール、その...
MySQL(RDS)で運用していたシステムを、AWSのAuroraに移行してエラーになった点があったのでノートを残しておきます。ECサイトなどで、商品マスタなどを日次バッチ処理で切り替える時。実体のテーブルは日ごとのテーブルを用意して、サイト側のクエリにはviewを参照させることはよくあると思います。SQLで書くと以下のような感じ。2月13日のテーブル切り替え:<div class="highlight...
以下のエントリを読んで、同じようなことしてるなぁと思ったので、私が使っているAWSサービス(S3,DynamoDB,SQS)の互換環境について、そのdockerイメージとあわせて紹介します。AWS上で動作するアプリケーションをいかにローカルで開発するか？ - たけぞう瀕死ブログhttp://takezoe.hatenabl...
エンジニアだけじゃないのかも知れないけれど、自分自身エンジニアとして働いているのに、エンジニアしていないなと感じることは多い。単に管理業務にシフトして新しい技術領域にチャレンジする機会が少なくなった、という意味以外でも、自分がエンジニアしていないと感じることは、やはり多い。そこで、「エンジニアっぽいと感じる働き方ってなんだろうな？」と思いふけってみたのだが。「『好き』で考えるタイプ」「『べき』で考えるタイプ」...
