Giter8でsbtのプロジェクトテンプレートを作成する手順メモ

Giter8というツールを使うと、sbtでプロジェクトを開始する時のディレクトリ構成・定義ファイルなどを生成出来ます。このエントリでは、オリジナルのテンプレート作成の流れを整理します。Giter8http://www.foundweekends.org/giter8/index.htmlGiter8を使ってみ...

自分の開発環境に依存するファイルをgitignoreする手順メモ

gitを使って開発を行っている時、gitの管理下に含めたくないファイルを.gitignoreに指定しますが、自分の開発環境のみに依存するファイルをプロジェクトの.gitignoreに含めるのはスマートでは無い。そこで、自分の開発環境のみに依存するファイルを共通でgit管理から除外するため、~/.config/git/ignoreに除外対象ファイルを記載します。<...

Spark上でmahoutを使ってitemsimilarityを計算するscalaプログラムを実行する流れ

Spark上でmahoutを使ってitemsimilarityを計算する場合は、以下の記事で紹介されている「spark-itemsimilarity」のバッチを使って実行することができます。Intro to Cooccurrence Recommenders with Spark | mahout<a href="https://mahout.apache.org/users/algorithms/intro-cooccurrence-spark.html...

Macっぽいキー操作でMSYS2のterminalを使うための設定

職場環境の制約等で、MacやMSYS2(Windows)のterminalを操作していると。キー操作の違いにストレスを感じるので、なるべく違和感なく操作できるように、MSYS2側をMacっぽく操作できるように設定してみました。# Macの操作方法が良いという理由ではなく、# 個人的にMacの操作方法に慣れているからです。この手順では以下のソフトを使います。MSYS2/mintty...

HiveのUDFを開発する際のデバッグログの出力方法

hiveのUDFを開発・デバッグしている時に、UDFの挙動をログに出力して確認したいことがあるので。hiveのUDFで、ログを出力し確認する方法をまとめておきます。UDFの作り方は、以下のエントリを参考にしてください。HiveのUDFを作る手順のメモ | takemikami.comhttp://takemikami.c...

hyperasでkeras-rlのハイパーパラメータチューニングをやってみる

ハイパーパラメータを最適化するために探索を行う、hyperoptというpythonのライブラリがありますが。これをニューラルネットワークライブラリのkerasで利用するための、hyperasというラッパーがあります。hyperopt | githubhttps://github.com/hyperopt/hyperopt...

MSYS2上でpython, jupyter, R, atomを使用する設定手順(Windows上でデータ分析するために)

terminal操作に慣れている人がWindows上でデータ分析を際に、linuxやmacosとなるべく同じような感覚でpython, R, atomを使用するための環境を作る手順のメモです。terminalにはMSYS2, minttyを利用して、terminalからpython, jupyter, Rを起動できるように、また、atomをatom ./スタイルで起動できるように設定していきます。<p...

iTunesのプレイリストをwalkmanに同期するスクリプト書いてみた

iTunesのプレイリストをwalkmanに同期できないかと、iTunesとwalkmanのプレイリストについて調べてみたら割と簡単そうだったので、Pythonで同期するスクリプトを書いてみました。作成したスクリプトは以下のgistに上げています。https://gist.github.com/...

UbuntuServer上でのCentOS7用cloud-init設定ファイルの開発環境の作り方

以下のエントリの続きで、今度はCentOS7用にcloud-init設定ファイルの開発環境を作ります(前回はUbuntu)。UbuntuServerでcloud-initの設定ファイルを開発する環境の作り方 | takemikami's notehttp://takemikami.com/2017/06/07/U...

UbuntuServerでcloud-initの設定ファイルを開発する環境の作り方

AWSのEC2の初期化には、cloud-initを使うことも多いと思いますが。cloud-initの設定を修正する度に、EC2のインスタンスを起動し直しているとお金も時間もかかってしまいます。このエントリでは、UbuntuServerにLXDを設定して、cloud-initの設定を開発・動作確認するための環境を作ることにします。環境は以下の流れで作ります。UbuntuServerのインストール</li...

CentOS7上にCUDAを設定してkeras/tensorflowのサンプルを動かすまで

CentOS7にkeras/tensorflowをセットアップしてサンプルを動かしてみたメモです。最初にCPUでサンプルを動かしてみた後、CUDA、cuDNNを設定して、再度サンプルを動かして、どの程度性能が上がるかを比較してみたいと思います。動かしてみた環境は、以下の通りです。CPU: Intel Core i7-4770 3.40GHzGPU: NVIDIA GeForce GTX760 4GB...

Spark MLlibでロジスティック回帰のサンプルを動かすまでの流れ

Spark MLlibのロジスティック回帰のサンプルを動かすまでの流れのメモです。以下の流れで、動かしていきます。HadoopとSparkのセットアップサンプルのデータ(sample_libsvm_data.txt)を見るサンプル(logistic regression)を動かしてみるこのエントリの実行内容は、MacOS上のSpark vsersion 2.0.1で確認しています。</...

オタクという言葉に対する、極めて個人的なイメージ

オタクという言葉は昔からあるけれど。この言葉にいろいろなバリエーションが出てきていて、ガチオタク、ライトオタク、ファッションオタクなどいろいろなパターンがある。また、オタクのジャンルにも、アニメ・ゲーム、アイドル、鉄道、ミリタリーなどなど様々なものがある。ただ、個人的にはオタクという言葉には、創作コンテンツ(アニメ・ゲーム・映画など)を消費する人というイメージが強い。個人的かつ勝手なイメージだけれど、...

AWSでシステム構成を考えるときに気をつけていること

このエントリは、随筆風にだらだら書きたいと思います。(なんとなくそういう気分だからです)このブログの過去エントリを翻ってみると、はじめてAWSに関するエントリを書いたのが2012年11月。実際に使い始めたのはもっと前からなので、AWSを扱い始めてから、もう5年以上過ぎていることになります。AWSの進化は速く、この5年の間にいろいろなサービスがリリースされました。ですが、同時に、基本的な考え方は変わって...

scikit-learnでSVM使ってirisのクラス分類やってみた

scikit-learnという機械学習のライブラリをよく耳にするので。チュートリアルに従って、簡単なことを試してみようと思います。scikit-learnhttp://scikit-learn.org/stable/このエントリでは、とりあえず、SVMでirisのクラス分類を行ってみることにします。その後、次元削減+クラス分類をp...

Author
takemikami
読書や創作が趣味なITエンジニア
・データ分析及びアプリ開発
・創作はショートショート
・YUI/FLOWER FLOWERファン
研究発表履歴 | 創作発表履歴
facebook
Google+ Google+
twitter
LinkedIn
Google Play
github
slideshare
Hatena::Bookmark
Recent Posts
[PR]
タグ
あわせて読みたい
PlayStation
[PR]
Twitter
RSS

subscribe via RSS Subscribe with Live Dwango Reader