開発用にAWSサービス(S3,DynamoDB,SQS)互換環境をdockerで立ち上げる

以下のエントリを読んで、同じようなことしてるなぁと思ったので、私が使っているAWSサービス(S3,DynamoDB,SQS)の互換環境について、そのdockerイメージとあわせて紹介します。AWS上で動作するアプリケーションをいかにローカルで開発するか? - たけぞう瀕死ブログhttp://takezoe.hatenabl...

エンジニアのかたち、好きと問題解決とべき論と妥協

エンジニアだけじゃないのかも知れないけれど、自分自身エンジニアとして働いているのに、エンジニアしていないなと感じることは多い。単に管理業務にシフトして新しい技術領域にチャレンジする機会が少なくなった、という意味以外でも、自分がエンジニアしていないと感じることは、やはり多い。そこで、「エンジニアっぽいと感じる働き方ってなんだろうな?」と思いふけってみたのだが。「『好き』で考えるタイプ」「『べき』で考えるタイプ」...

GitHubのWebhookを使い、git pushしたら自動でdeployする仕組みを作る

GitHubのWebhook機能を利用して、git pushしたら自動でdeployする仕組みを作る方法についてメモをまとめます。仕組みの全体像このエントリでは以下のような仕組みを作ることにします。<a data-flickr-embed="true" href="https://www.flickr.com/photos/62769571@N03/24269997926/in/dateposted-public/" title="g...

K-Means法によるクラスタリングをAzureMLでためす手順

昨年、11月27日にAzureMLの勉強会で、クラスタリングについてお話させて頂いたのですが、その補足も含め、AzureMLでクラスタリングを試す方法をまとめておきます。k-mean法によるクラスタリングの解説※2015年11月27日に発表させて頂いた資料です。<iframe src="//www.slideshare.net/slideshow/embed_code/key/ux6RkEFzmKzdEI" width...

Cassandraをlocalにセットアップし、SparkShellでアクセスするまで

CassandraをMacOSXにローカルモードでセットアップし、SparkShellでアクセスするところまでを試したので、メモを残しておきます。利用したバージョンは以下の通りMac OS X El Capitan 10.11.2apache-cassandra-3.1.1spark-1.6.0-bin-hadoop2.6Cassandraの起動...

Embulk Meetup Tokyo #2 に行ってきました

「Embulk Meetup Tokyo #2」にお邪魔して話を聞いてきたので、感想などまとめておきます。 Embulk Meetup Tokyo #2http://eventdots.jp/event/575046Embulk Meetup Tokyo #2 イベントレポート<a href="http://eventdots.jp/eventrepo...

MacにSparkをセットアップしてS3上のファイルにアクセスするまで

SparkからS3上のファイルを読み込んでみたので、その手順を残しておきます。具体的には、Mac上でローカルモードでspark-shellを動かして、AWSのS3上のファイルを読み込んでみました。以下のバージョンで実施した手順です。 Spark 1.5.2 Pre-build for Hadoop 2.6 or later大きく以下の3つの流れになります。Sparkの導入<...

OpsGenieとMonitを連携してプロセスの死活監視してみた

OpsGenieとMonitを連携してプロセスの死活監視してみたので、設定方法のメモを残しておきます。このエントリではnginx上にhealthcheck用のファイルを配置して、そのファイルをhttp経由で取得出来るかどうかをmonitでチェックして、そのチェック結果をOpsGenieに送ってみることにします。OpsGenie: https://www.opsgenie.com/...

EC2(AWS)のAutoScalingで時刻指定によってサーバを増減する方法

AWSのAutoScaling機能では、負荷状況・アクセス数などの指標に応じてEC2インスタンス数の増減を自動調整する事が出来ますが。cron設定の様に時刻指定でサーバの増減を調整する事も出来るので、設定方法をメモしておきます。アクセスや処理が集中する時間(逆に少ない時間)があらかじめ明らかな場合は、時刻指定で調整するのもよいのではないかと思います。(キャンペーン等を実施する時間が決まって居るなど、)私の見落と...

Vagrantのboxファイルを作成してAtlasで共有する手順

Vagrantで自分達の開発に必要な設定を行ったboxファイルを作成し、Atlasで共有する手順をまとめました。このエントリではRails開発用に、CentOS6にRuby/nodejs/MySQL/Redisをセットアップしたboxイメージを作成してみます。Vagrant/PackerのインストールVirutalBoxのサイトから、ダウンロードしてインストーラの指示に従いインストールします。VirtualBox:<a...

CloudWatchのAlarmをSlackに通知する設定手順

システムインフラの監視アラートの通知先として、近頃はメールよりもslackなどのチャットツールを使うことが多くなってきたと感じています。ということで、AWSのCloudWatchのアラートもslackに通知するようにしてみたので、実施した手順をまとめておきます。ここでは、CloudWatchのAlarmをslackに通知するために、Herokuにamazon-cloudwatch-to-slackを利用します。<a href="https://github.com/e...

「Code for 青空文庫」アイデアソン #1 に行ってきました

5/30(土)に「Code for 青空文庫」アイデアソン #1 に参加してきました。ITmediaニュースさんでも取り上げられ、話題になっていたイベントで補欠登録していたのですが、繰り上がりで参加させて頂けることになり、参加してきました。本が好き(大学の頃は文芸部に所属していたくらい)で、青空文庫さんのテキストを読ませて頂くこともあったので、エンジニアとして何か力になりたいという想いがあったので、こういうイベントに参加できただけでも嬉しかったです。「Cod...

大阪都構想について思ったことつらつら

先日の住民投票で、大阪都構想が僅差の反対多数で否決されました。大阪府にも大阪市にも住んだことは無いですが、お隣の兵庫県出身の私にとっても関心の高い事柄でした。特に、何か結論があるわけでも無いですが、思ったことをつらつらと書こうと思います。大阪都構想の意図としては、①府市の二重行政の財源の無駄を無くす②府市一本化で意思決定を迅速にし、大阪を成長させるという2点になるのかなと理解しています。<...

SE35歳定年説と数学と

4月中に4月っぽいエントリを書こうと思っていたのですが、5月に入ってしまいましたが、やっぱり書きます。 自分が新入社員だった頃に言われていたSE35歳定年説と、今振り返って、SE35歳定年説についてどう考えるかを書こうと思います。そもそも「SE35歳定年説」というのは、IT業界では新しい技術があふれているということもあり、歳をとると、若い人と比較して新技術へのキャッチアップが難しくなるので、35歳くらいまでに...

リアルタイム通信が楽しくなるmilkcocoaハッカソン!でサイリウムを振ってきました

3/28(土)に、リアルタイム通信が楽しくなるmilkcocoaハッカソン!に参加してサイリウムを振ってきました。会場はソラシティという新御茶ノ水駅直結の綺麗なビルにある「デジタルハリウッド大学」さんでした。今回は、個人的に知り合いも多かったこともありとてもリラックスしてハッカソンに取り組め、楽しかったです。リアルタイム通信が楽しくなるmilkcocoaハッカソン!<a href="http://mlkcca.connpass.com/event/12332...

Author
takemikami
読書や創作が趣味なITエンジニア
・データ分析及びアプリ開発
・創作はショートショート
・YUI/FLOWER FLOWERファン
研究発表履歴 | 創作発表履歴
facebook
Google+ Google+
twitter
LinkedIn
Google Play
github
slideshare
Hatena::Bookmark
Recent Posts
[PR]
タグ
あわせて読みたい
[PR]
PlayStation
Twitter
RSS

subscribe via RSS Subscribe with Live Dwango Reader