AWSでシステム構成を考えるときに気をつけていること

このエントリは、随筆風にだらだら書きたいと思います。(なんとなくそういう気分だからです)このブログの過去エントリを翻ってみると、はじめてAWSに関するエントリを書いたのが2012年11月。実際に使い始めたのはもっと前からなので、AWSを扱い始めてから、もう5年以上過ぎていることになります。AWSの進化は速く、この5年の間にいろいろなサービスがリリースされました。ですが、同時に、基本的な考え方は変わって...

scikit-learnでSVM使ってirisのクラス分類やってみた

scikit-learnという機械学習のライブラリをよく耳にするので。チュートリアルに従って、簡単なことを試してみようと思います。scikit-learnhttp://scikit-learn.org/stable/このエントリでは、とりあえず、SVMでirisのクラス分類を行ってみることにします。その後、次元削減+クラス分類をp...

gitbookで技術書を書く環境の構築手順

gitbookを使って技術書を書くための環境を構築する手順をまとめたいと思います。gitbookとは、Node.jsで動く、チームでドキュメントを作って、オンライン上で公開するためのツールです。markdownで書いたドキュメントをhtmlやpdfなどに体裁を整えて変換することができます。このエントリでは、以下の4点について、順を追って手順を示していきます。gitbookの執筆環境構築tex...

RMarkdownをknitr/gitbookでHTMLやPDF形式のレポートを作成する

Rではggplot2などを使うと綺麗なグラフが書けるので、そのようなグラフを含んだレポートをHTMLやPDFで出力出来ると嬉しいです。という背景から、このエントリでは、RMarkdownで書かれたドキュメントをknitrとgitbookを使って、HTMLやPDFを作成する流れを説明したいと思います。プロジェクトの作成まず、RStudioを起動して、プロジェクトを作成します。メニュー右側のPr...

jupyter notebookのipynbファイルをバッチ実行してhtmlを出力する

このエントリでは、jupyterのipynbファイルをバッチ実行してhtmlを出力する手順を示します。この手順をシェルスクリプト等で定期実行するようにしておけば、日次や月次での定型レポートを生成するなどの応用が出来るので、便利だと思います。適当なipynbを作るjupyter notebookで適当にipynbを作成します。ここでは以下のようなスクリプトを書いてみました。東京・大阪支店の日別売上...

aglioとdrakovでAPI仕様書とMockを生成する手順

このエントリでは、WebサービスのAPI開発を効率良く進めるために、aglioとdrakovを使って、API仕様書とMockを生成する手順を整理したいと思います。aglioはHTMLで仕様書を生成するツール、drakovはMockサーバです。aglio | githubhttps://github.com/danielgtaylor/aglio...

SQuirreL SQL Clientを使ってhiveserver2に接続する手順

hiveのテーブル定義などをGUIで確認できると便利かと思い、「SQuirreL SQL Client」でhiveserver2に接続してみたので、手順を残しておきます。このエントリでは、HiveのWikiの記事を参考にしています。Integration with SQuirrel SQL Client | Apache Hive<a href="https://cwiki.apache.org/confluence/display/Hiv...

groovyの内部DSLの勉強がてらにETLツールもどきを作ってみた

この記事は、Java Advent Calendar 2016 の25日目の記事です。Java Advent Calendar 2016http://qiita.com/advent-calendar/2016/java前日は、@newtaさんの「モダンなJavaの書き方。Immutable Java、Null安全を考えてみる」 でした。...

AzureMLでロジスティック回帰して、その結果をRに取り込んでggplot2でグラフ書いてみた

この記事は、Microsoft Azure Advent Calendar 2016 の18日目の記事です。Microsoft Azure Advent Calendar 2016http://qiita.com/advent-calendar/2016/azure機械学習を試してみたいと思ったとき、AzureMLを使うと、マ...

gitの特徴とgithubでのチーム開発の流れの整理

この記事は、フロムスクラッチ Advent Calendar 2016 の18日目の記事です。フロムスクラッチ Advent Calendar 2016http://qiita.com/advent-calendar/2016/fromscratchgitというバージョン管理システムは、ソフトウェア開発者にとって身...

CentOS7へのRStudioServerのセットアップからhiveserver2への接続までの流れ

hivemallで機械学習を行った結果をVisualizeするのに、RStudioからhiveserver2にアクセスできると便利かなと思ったので。RStudioServerのセットアップからhiveserver2への接続までの流れを整理してみました。RとRStuidoServerのセットアップyumへのepelの追加以下のようにして、yumにepelのリポジトリを追加します。<div class...

CentOS7への擬似分散モードでのhadoop及び、hiveセットアップ手順

CentOS7にApache Hadoop及びHiveを擬似分散モードでセットアップする手順のメモです。hiveのmetastoreにはmariadb(mysql)を使用します。CentOS7はminimaldvdからデフォルト状態でインストールした前提です。使用したDVDイメージ: CentOS-7-x86_64-Minimal-1511.iso以下の流れでセットアップをしていきます。前提となる設定など</...

「TensorFlowで遊びながら学んだ、はじめてのLED点滅」IoTLTの準備で得た知識の整理

この記事は、IoTLT Advent Calendar 2016 の10日目の記事です。IoTLT Advent Calendar 2016http://qiita.com/advent-calendar/2016/iotlt今年(2016年)の8/12に開催されたIoTLTでLTした、「TensorFlowで遊びながら学んだ...

Milkcocoaのpython sdk使おうとしていろいろはまった話

この記事は、Milkcocoa Advent Calendar 2016 の5日目の記事です。Milkcocoa Advent Calendar 2016http://qiita.com/advent-calendar/2016/milkcocoaMilkcocoaを使って何か作ろうと思っていたのですが、python ...

pythonの開発環境の切り替え用に anyenv, pyenv, pyenv-virtualenv, anacondaを入れる流れ

pythonで開発をしていると、機械学習など試してみたいライブラリによく遭遇します。ライブラリの評価は、普段利用している環境とは別の一時的な環境で行いたいことが多いので、独立した環境を作成・管理出来ると便利です。が、pythonのバージョンや環境を管理するツールがいくつかあり、環境構築の際に混乱してしまったので、私が現状行っている方法のセットアップ手順をメモに残しておきます。具体的には、以下の記事の「3. pyenv-virtua...

Author
takemikami
読書や創作が趣味なITエンジニア
・データ分析及びアプリ開発
・創作はショートショート
・YUI/FLOWER FLOWERファン
研究発表履歴 | 創作発表履歴
facebook
Google+ Google+
twitter
LinkedIn
Google Play
github
slideshare
Hatena::Bookmark
Recent Posts
[PR]
タグ
あわせて読みたい
PlayStation
[PR]
Twitter
RSS

subscribe via RSS Subscribe with Live Dwango Reader