shUnit2とCircleCIでシェルスクリプトの単体テストをしてみた

シェルスクリプトでも単体テストを書いてCIした方が精神衛生上好ましいなと思い、調べてみるとshUnit2という単体テストフレームワークがあったので、これを使って単体テストとCIを実施してみました。 shUnit2https://code.google.com/archive/p/shunit2/CircleCI<br...

Mac上でのHBaseセットアップ手順

このエントリでは、Mac上にHBaseをセットアップする手順のメモを残しておきます。HBaseのセットアップHBase Shellからの動作確認hbase:https://hbase.apache.org/(参考) 2.3.Intermediate - Pseudo-Distributed Local In...

Mac上でのhiveセットアップ手順(mysql上にmetastoreを作成)

Mac上にhiveをセットアップする手順のメモを残しておきます。この手順では、hiveのmetastoreにmysqlを使用します。Hadoopとhdfsのセットアップhiveのセットアップとmetastoreの設定Hadoopとhdfsのセットアップhomebrewを使ってhadoopをインストール、その後必要となる設定を行います。インストール</h2...

MacにhiveをセットアップしてS3上のファイルにアクセスするまで

Mac上にhadoop/hiveを入れて、S3上のファイルをhiveでアクセスするまでの手順のメモを残しておきます。HadoopとhiveのセットアップS3上のファイルへのアクセス設定S3上のTSVファイルへのクエリ実行S3上にクエリの実行結果を保存Hadoopとhiveのセットアップhomebrewを使ってhadoopとhiveのインストール、その...

AWS AuroraのリードレプリカでViewを使ったTableのswitchをしていてエラーになった話

MySQL(RDS)で運用していたシステムを、AWSのAuroraに移行してエラーになった点があったのでノートを残しておきます。ECサイトなどで、商品マスタなどを日次バッチ処理で切り替える時。実体のテーブルは日ごとのテーブルを用意して、サイト側のクエリにはviewを参照させることはよくあると思います。SQLで書くと以下のような感じ。2月13日のテーブル切り替え:<div class="highlight...

開発用にAWSサービス(S3,DynamoDB,SQS)互換環境をdockerで立ち上げる

以下のエントリを読んで、同じようなことしてるなぁと思ったので、私が使っているAWSサービス(S3,DynamoDB,SQS)の互換環境について、そのdockerイメージとあわせて紹介します。AWS上で動作するアプリケーションをいかにローカルで開発するか? - たけぞう瀕死ブログhttp://takezoe.hatenabl...

エンジニアのかたち、好きと問題解決とべき論と妥協

エンジニアだけじゃないのかも知れないけれど、自分自身エンジニアとして働いているのに、エンジニアしていないなと感じることは多い。単に管理業務にシフトして新しい技術領域にチャレンジする機会が少なくなった、という意味以外でも、自分がエンジニアしていないと感じることは、やはり多い。そこで、「エンジニアっぽいと感じる働き方ってなんだろうな?」と思いふけってみたのだが。「『好き』で考えるタイプ」「『べき』で考えるタイプ」...

GitHubのWebhookを使い、git pushしたら自動でdeployする仕組みを作る

GitHubのWebhook機能を利用して、git pushしたら自動でdeployする仕組みを作る方法についてメモをまとめます。仕組みの全体像このエントリでは以下のような仕組みを作ることにします。<a data-flickr-embed="true" href="https://www.flickr.com/photos/62769571@N03/24269997926/in/dateposted-public/" title="g...

K-Means法によるクラスタリングをAzureMLでためす手順

昨年、11月27日にAzureMLの勉強会で、クラスタリングについてお話させて頂いたのですが、その補足も含め、AzureMLでクラスタリングを試す方法をまとめておきます。k-mean法によるクラスタリングの解説※2015年11月27日に発表させて頂いた資料です。<iframe src="//www.slideshare.net/slideshow/embed_code/key/ux6RkEFzmKzdEI" width...

Cassandraをlocalにセットアップし、SparkShellでアクセスするまで

CassandraをMacOSXにローカルモードでセットアップし、SparkShellでアクセスするところまでを試したので、メモを残しておきます。利用したバージョンは以下の通りMac OS X El Capitan 10.11.2apache-cassandra-3.1.1spark-1.6.0-bin-hadoop2.6Cassandraの起動...

Embulk Meetup Tokyo #2 に行ってきました

「Embulk Meetup Tokyo #2」にお邪魔して話を聞いてきたので、感想などまとめておきます。 Embulk Meetup Tokyo #2http://eventdots.jp/event/575046Embulk Meetup Tokyo #2 イベントレポート<a href="http://eventdots.jp/eventrepo...

MacにSparkをセットアップしてS3上のファイルにアクセスするまで

SparkからS3上のファイルを読み込んでみたので、その手順を残しておきます。具体的には、Mac上でローカルモードでspark-shellを動かして、AWSのS3上のファイルを読み込んでみました。以下のバージョンで実施した手順です。 Spark 1.5.2 Pre-build for Hadoop 2.6 or later大きく以下の3つの流れになります。Sparkの導入<...

OpsGenieとMonitを連携してプロセスの死活監視してみた

OpsGenieとMonitを連携してプロセスの死活監視してみたので、設定方法のメモを残しておきます。このエントリではnginx上にhealthcheck用のファイルを配置して、そのファイルをhttp経由で取得出来るかどうかをmonitでチェックして、そのチェック結果をOpsGenieに送ってみることにします。OpsGenie: https://www.opsgenie.com/...

EC2(AWS)のAutoScalingで時刻指定によってサーバを増減する方法

AWSのAutoScaling機能では、負荷状況・アクセス数などの指標に応じてEC2インスタンス数の増減を自動調整する事が出来ますが。cron設定の様に時刻指定でサーバの増減を調整する事も出来るので、設定方法をメモしておきます。アクセスや処理が集中する時間(逆に少ない時間)があらかじめ明らかな場合は、時刻指定で調整するのもよいのではないかと思います。(キャンペーン等を実施する時間が決まって居るなど、)私の見落と...

Vagrantのboxファイルを作成してAtlasで共有する手順

Vagrantで自分達の開発に必要な設定を行ったboxファイルを作成し、Atlasで共有する手順をまとめました。このエントリではRails開発用に、CentOS6にRuby/nodejs/MySQL/Redisをセットアップしたboxイメージを作成してみます。Vagrant/PackerのインストールVirutalBoxのサイトから、ダウンロードしてインストーラの指示に従いインストールします。VirtualBox:<a...

Author
takemikami
読書や創作が趣味なITエンジニア
・データ分析及びアプリ開発
・創作はショートショート
・YUI/FLOWER FLOWERファン
研究発表履歴 | 創作発表履歴
facebook
Google+ Google+
twitter
LinkedIn
Google Play
github
slideshare
Hatena::Bookmark
Recent Posts
[PR]
タグ
あわせて読みたい
[PR]
PlayStation
Twitter
RSS

subscribe via RSS Subscribe with Live Dwango Reader