テンプレートエンジンを使ってSQLを書く環境を作ってみた

Web界隈ではaltjsやscssのファイル更新を監視して自動コンパイルするのが一般的になってきていると思いますが。このエントリでは、そういった方法を真似て、SQLをテンプレートエンジンを利用して書いて、自動的に変換する環境を作ってみることにします。データ界隈の人はpython使う人が多そうなので、pythonで以下のモジュールを使った環境を作ることにします。ファイル監視はwatchdogテンプレートエンジンはmako...

MacにJIS配列のWindows用キーボードを接続する時の設定メモ

JIS配列のMac用キーボードで気にいったものを見つけられなかったので、Windows用JIS配列のREALFORCEをMacにつないで使うことにしました。キーボード(REALFORCE) | 東プレhttp://www.topre.co.jp/products/elec/keyboards/# ちなみに私が使用してい...

hdfsにsqoopとembulkでmysqlからロードする手順

このエントリでは、Mac上でhdfsにmysqlからデータをロードする手順を記載します。sqoopを利用する手順とembulkを利用する手順を示します。Apache Sqoop:http://sqoop.apache.org/embulk:https://github....

HiveQLUnitを使ってhiveの単体テストを実施する手順

hiveのクエリーの単体テストのやり方を調べてみると、単体検査用のhive実行環境の立ち上げを含めてまるっとやってくれる、HiveQLUnitというフレームワークがあったので、試してみました。このエントリでは、HiveQLUnitを使って単体テストを実施する手順を説明します。HiveQLUnithttp://finraos.github...

shUnit2とCircleCIでシェルスクリプトの単体テストをしてみた

シェルスクリプトでも単体テストを書いてCIした方が精神衛生上好ましいなと思い、調べてみるとshUnit2という単体テストフレームワークがあったので、これを使って単体テストとCIを実施してみました。 shUnit2https://code.google.com/archive/p/shunit2/CircleCI<br...

Mac上でのHBaseセットアップ手順

このエントリでは、Mac上にHBaseをセットアップする手順のメモを残しておきます。HBaseのセットアップHBase Shellからの動作確認hbase:https://hbase.apache.org/(参考) 2.3.Intermediate - Pseudo-Distributed Local In...

Mac上でのhiveセットアップ手順(mysql上にmetastoreを作成)

Mac上にhiveをセットアップする手順のメモを残しておきます。この手順では、hiveのmetastoreにmysqlを使用します。Hadoopとhdfsのセットアップhiveのセットアップとmetastoreの設定Hadoopとhdfsのセットアップhomebrewを使ってhadoopをインストール、その後必要となる設定を行います。インストール</h2...

MacにhiveをセットアップしてS3上のファイルにアクセスするまで

Mac上にhadoop/hiveを入れて、S3上のファイルをhiveでアクセスするまでの手順のメモを残しておきます。HadoopとhiveのセットアップS3上のファイルへのアクセス設定S3上のTSVファイルへのクエリ実行S3上にクエリの実行結果を保存Hadoopとhiveのセットアップhomebrewを使ってhadoopとhiveのインストール、その...

AWS AuroraのリードレプリカでViewを使ったTableのswitchをしていてエラーになった話

MySQL(RDS)で運用していたシステムを、AWSのAuroraに移行してエラーになった点があったのでノートを残しておきます。ECサイトなどで、商品マスタなどを日次バッチ処理で切り替える時。実体のテーブルは日ごとのテーブルを用意して、サイト側のクエリにはviewを参照させることはよくあると思います。SQLで書くと以下のような感じ。2月13日のテーブル切り替え:<div class="highlight...

開発用にAWSサービス(S3,DynamoDB,SQS)互換環境をdockerで立ち上げる

以下のエントリを読んで、同じようなことしてるなぁと思ったので、私が使っているAWSサービス(S3,DynamoDB,SQS)の互換環境について、そのdockerイメージとあわせて紹介します。AWS上で動作するアプリケーションをいかにローカルで開発するか? - たけぞう瀕死ブログhttp://takezoe.hatenabl...

エンジニアのかたち、好きと問題解決とべき論と妥協

エンジニアだけじゃないのかも知れないけれど、自分自身エンジニアとして働いているのに、エンジニアしていないなと感じることは多い。単に管理業務にシフトして新しい技術領域にチャレンジする機会が少なくなった、という意味以外でも、自分がエンジニアしていないと感じることは、やはり多い。そこで、「エンジニアっぽいと感じる働き方ってなんだろうな?」と思いふけってみたのだが。「『好き』で考えるタイプ」「『べき』で考えるタイプ」...

GitHubのWebhookを使い、git pushしたら自動でdeployする仕組みを作る

GitHubのWebhook機能を利用して、git pushしたら自動でdeployする仕組みを作る方法についてメモをまとめます。仕組みの全体像このエントリでは以下のような仕組みを作ることにします。<a data-flickr-embed="true" href="https://www.flickr.com/photos/62769571@N03/24269997926/in/dateposted-public/" title="g...

K-Means法によるクラスタリングをAzureMLでためす手順

昨年、11月27日にAzureMLの勉強会で、クラスタリングについてお話させて頂いたのですが、その補足も含め、AzureMLでクラスタリングを試す方法をまとめておきます。k-mean法によるクラスタリングの解説※2015年11月27日に発表させて頂いた資料です。<iframe src="//www.slideshare.net/slideshow/embed_code/key/ux6RkEFzmKzdEI" width...

Cassandraをlocalにセットアップし、SparkShellでアクセスするまで

CassandraをMacOSXにローカルモードでセットアップし、SparkShellでアクセスするところまでを試したので、メモを残しておきます。利用したバージョンは以下の通りMac OS X El Capitan 10.11.2apache-cassandra-3.1.1spark-1.6.0-bin-hadoop2.6Cassandraの起動...

Embulk Meetup Tokyo #2 に行ってきました

「Embulk Meetup Tokyo #2」にお邪魔して話を聞いてきたので、感想などまとめておきます。 Embulk Meetup Tokyo #2http://eventdots.jp/event/575046Embulk Meetup Tokyo #2 イベントレポート<a href="http://eventdots.jp/eventrepo...

Author
takemikami
読書や創作が趣味なITエンジニア
・データ分析及びアプリ開発
・創作はショートショート
・YUI/FLOWER FLOWERファン
研究発表履歴 | 創作発表履歴
facebook
Google+ Google+
twitter
LinkedIn
Google Play
github
slideshare
Hatena::Bookmark
Recent Posts
[PR]
タグ
あわせて読みたい
[PR]
PlayStation
Twitter
RSS

subscribe via RSS Subscribe with Live Dwango Reader