Learning Kubernetes with Lightweight Kubernetes K3s

Long time no update on this blog because busy with a lot of work in real life but I'm committed to trying to update at least 1 post per month again. Starting today, I'm share about K3s. often when we want to learn something it is hindered by resources and so on, as well as kubernetes, but I think that was originally not an excuse, in this case when we want to learn kubernetes and our resources are limited K3s can be a solution. 

K3s is Lightweight Kubernetes. Easy to install, half the memory, all in a binary of less than 100 MB. K3s great for Homelab, Edge, Internet Of Things (IoT), Continous Integration (CI), Development, Single board computers (ARM) and etc. K3s is a fully compliant kubernetes with some enhancements like : minimal container image, lightweight datastore, wrapped in simple launcher, secured, external dependencies have been minimized, etc.  Let's practices !

Lab Summary :

• Requirements
• Installation
• Cluster Access
• Adding Nodes
• Uninstall / Destroy Cluster

Requirements 

K3s is very lightweight, but has some minimum requirements as outlined below. 

• if deploy cluster with multiple nodes, hostname can't be same
• Architecture
• x86_64
• armhf
• armd64/aarch64
• s390x
• Operating System
• SUSE based
• Debian Based
• RHEL Based
• Rasber
• Spesifications 
• Server : 2 Cores, 2GB Memory
• Agent : 1 core 512MB Memory

Operating System additional setup requirements (incase Ubuntu): 

# recommended to turn off ufw
$ ufw disable

# if needed to keep ufw enabled
$ ufw allow 6443/tcp #apiserver
$ ufw allow from 10.42.0.0/16 to any #pods
$ ufw allow from 10.43.0.0/16 to any #services

Installation

Let's try install

# bacic installation
$ curl -sfL https://get.k3s.io | sh -

# example disable flannel
$ curl -sfL https://get.k3s.io | sh -s - --flannel-backend none

This script will execute installation process and runs K3s services on our host, we can also manual install with Binary if we need some customization parameter on our cluster, the step is :

• Download K3s release binary releases , recommend to select latest versions
• Custom configuration parameter references server configuration

# using binary to disable flannel
$ INSTALL_K3S_EXEC="--flannel-backend none" k3s server 

# multiple arguments
$ k3s server \
   --write-kubeconfig-mode "0644"    \
   --tls-san "example.local"         \
   --node-label "worker=true"       \
   --node-label "monitoring=true"  \
   --cluster-init

multiple configuration use files also supported, the configuration files are read by default from /etc/rancher/k3s/config.yaml and /etc/rancher/k3s/config.yaml.d/*.yaml

Cluster Access

By default, K3s config will store at /etc/rancher/k3s directory. similarly to K8s, we need to define a configuration file location.

$ export KUBECONFIG=/etc/rancher/k3s/k3s.yaml

As an Alternative, we can define the config file in our home directory :

$ mkdir -p ~/.kube
$ sudo k3s kubectl config view --raw | tee ~/.kube/config
$ chmod 600 ~/.kube/config

Adding Nodes

if we want to add new nodes to our cluster, we need to execute command :

# get token on K3s Server
$ cat /var/lib/rancher/k3s/server/node-token

# execute on new nodes
$ curl -sfL https://get.k3s.io | K3S_URL=https://<ip/domain-server-k3s>:6443 K3S_TOKEN=<paste-token> sh -

Uninstalling / Destroy Cluster

# Uninstall server
$ /usr/local/bin/k3s-uninstall.sh

# Uninstall Agents
$ /usr/local/bin/k3s-agent-uninstall.sh

Make sure not exec this on production cluster, K3s my cause data loss!!!

yep, that's all for now thanks, and happy practicing

Read More

OpenStack : Deploy All in One OpenStack Dengan Kolla-ansible

 

Halo semua pada kesempatan kali ini kami akan share tutorial tentang cara deploy openstack dengan cara otomatis menggunakan kolla-ansible. Untuk environment yang akan kami gunakan sebagai berikut :

| Key  | Value |
| ----- | --- |
| Interfaces   | 2 interface, enp1s0 : 10.20.21.0/24, enp7s0 : isolated network  |
| Ram | 8GB  |
| vCPUs| 2 |
| Storage| 2 Disk, 1 Disk Sistem (30-40GB), 1 Cinder volume(50GB) |
| Operating System | Ubuntu 18.04 |

VM atau server diatas berjalan di atas KVM, untuk yang belum pernah belajar KVM bisa mampir di link berikut. Untuk versi openstack yang akan kita deploy adalah ussuri. untuk tahapannya seperti berikut :

1. Prerequisite

2. Setup untuk deploy

3. Deploy

4. Post Deploy

Ya kurang lebih seperti diatas, untuk tahapannya. Oke langsung saja ke panduannya :

1. Prerequisite

Pada Tahap ini kita akan melakukan persiapan sebelum melakukan setup dan menuju ke deploy.

- Install docker, disarankan versi 18 terbaru, jika menggunakan versi 20, kami coba terdapat error saat verifikasi

```bash
$ docker version
```

- Konfigurasi LVM

```bash
# check all disk
$ sudo fdisk -l
# LVM 
$ sudo pvcreate -f /dev/vdx
$ sudo pvs
$ sudo vgcreate -f openstack_cinder /dev/vdx
$ sudo vgs
```

- Update and Upgrade package

```bash
$ sudo apt-get update
$ sudo apt-get upgrade
```

2. Setup untuk deploy

```bash
# Install package
$ sudo apt install python3-dev python3-venv libffi-dev gcc libssl-dev git

# Create virtual environment ('openstack-ussuri' bebas untuk dirubah)
$ python3 -m venv $HOME/openstack-ussuri
$ source $HOME/openstack-ussuri/bin/activate

# Akan menjadi seperti berikut
(openstack-ussuri) sulaiman@al-faruq:~$

# Upgrade PIP
(openstack-ussuri) sulaiman@al-faruq:~$ pip install -U pip
```

Install ansible and Kolla-ansible

```bash
# install ansible
(openstack-ussuri) sulaiman@al-faruq:~$ pip install ansible

# ansible config
(openstack-ussuri) sulaiman@al-faruq:~$ vim $HOME/ansible.cfg
...
[defaults]
host_key_checking=False
pipelining=True
forks=100
...

# install kolla-ansible
(openstack-ussuri) sulaiman@al-faruq:~$ pip install kolla-ansible 
(openstack-ussuri) sulaiman@al-faruq:~$ sudo mkdir /etc/kolla
(openstack-ussuri) sulaiman@al-faruq:~$ sudo chown $USER:$USER /etc/kolla
(openstack-ussuri) sulaiman@al-faruq:~$ cp $HOME/openstack-ussuri/share/kolla-ansible/etc_examples/kolla/* /etc/kolla/
(openstack-ussuri) sulaiman@al-faruq:~$ cp $HOME/openstack-ussuri/share/kolla-ansible/ansible/inventory/all-in-one .
(openstack-ussuri) sulaiman@al-faruq:~$ vim /etc/kolla/globals.yml
...
kolla_base_distro: "ubuntu"
kolla_install_type: "source"
openstack_release: "ussuri"
kolla_internal_vip_address: "10.20.21.200"
kolla_external_vip_address: "{{ kolla_internal_vip_address }}"
network_interface: "enp1s0"
neutron_external_interface: "enp7s0"
neutron_plugin_agent: "openvswitch"
enable_haproxy: "yes"
enable_cinder: "yes"
enable_cinder_backend_lvm: "yes"
keystone_token_provider: 'fernet'
cinder_volume_group: "openstack_cinder"
nova_compute_virt_type: "qemu"
...
```

3. Deploy

```bash
# generate password
(openstack-ussuri) sulaiman@al-faruq:~$ kolla-genpwd
(openstack-ussuri) sulaiman@al-faruq:~$ kolla-ansible -i all-in-one bootstrap-servers
(openstack-ussuri) sulaiman@al-faruq:~$ kolla-ansible -i all-in-one prechecks
(openstack-ussuri) sulaiman@al-faruq:~$ kolla-ansible -i all-in-one deploy
```

4. Post Deploy

```bash
(openstack-ussuri) sulaiman@al-faruq:~$ pip install python-openstackclient python-neutronclient python-glanceclient
(openstack-ussuri) sulaiman@al-faruq:~$ kolla-ansible post-deploy
(openstack-ussuri) sulaiman@al-faruq:~$ source /etc/kolla/admin-openrc.sh
(openstack-ussuri) sulaiman@al-faruq:~$ vim openstack-ussuri/share/kolla-ansible/init-runonce
...
ENABLE_EXT_NET=${ENABLE_EXT_NET:-1}
EXT_NET_CIDR=${EXT_NET_CIDR:-'10.20.21.0/24'}
EXT_NET_RANGE=${EXT_NET_RANGE:-'start=10.20.21.150,end=10.20.21.199'}
EXT_NET_GATEWAY=${EXT_NET_GATEWAY:-'10.20.21.1'}
...
(openstack-ussuri) sulaiman@al-faruq:~$ openstack-ussuri/share/kolla-ansible/init-runonce
# hasilnya seperti berikut
...
+----------------------------+-----------+
| Field                      | Value     |
+----------------------------+-----------+
| OS-FLV-DISABLED:disabled   | False     |
| OS-FLV-EXT-DATA:ephemeral  | 0         |
| disk                       | 160       |
| id                         | 5         |
| name                       | m1.xlarge |
| os-flavor-access:is_public | True      |
| properties                 |           |
| ram                        | 16384     |
| rxtx_factor                | 1.0       |
| swap                       |           |
| vcpus                      | 8         |
+----------------------------+-----------+

Done.

To deploy a demo instance, run:

openstack server create \
    --image cirros \
    --flavor m1.tiny \
    --key-name mykey \
    --network demo-net \
    demo1

```

```bash
# check openstack service
(openstack-ussuri) sulaiman@al-faruq:~$ openstack service list
+----------------------------------+-------------+----------------+
| ID                               | Name        | Type           |
+----------------------------------+-------------+----------------+
| 04e41f72c008488182bff61e2601d1e6 | keystone    | identity       |
| 2af3f2f410ff4fdcb4f210cf129a9ca7 | neutron     | network        |
| 557ad1c41ca444e0b31d5d9b9057a878 | nova        | compute        |
| 7a25f64412194916898f9226dd49c243 | heat-cfn    | cloudformation |
| 7c0d1b1fd3a3488d9816f642058882a5 | nova_legacy | compute_legacy |
| 818f1176de7e47059ab9d3d66db112d9 | heat        | orchestration  |
| a649b28bb0d54593868953c2450468fe | placement   | placement      |
| a8f3d6bac282490e9562738b8b2f7522 | glance      | image          |
| cca52c5f7c6d4677afd6bd182001fcab | cinderv3    | volumev3       |
| faeebb8439be4b328ecc0b812224fdc4 | cinderv2    | volumev2       |
+----------------------------------+-------------+----------------+

# check password login horizon
(openstack-ussuri) sulaiman@al-faruq:~$ grep keystone_admin_password /etc/kolla/passwords.yml
```
  

5. Verifikasi

- Akses dashboard openstack dengan ip address VIP (10.20.21.200) pada web browser 

- Login dengan user 'admin' dan password yang sudah dicheck sebelumnya

Yaps, sekian dulu, sampai jumpa di tutorial berikutnya!

Read More

Docker : Using Multi-stage Build to reduce Docker Image sizes

 Halo semua, pada kesempatan kali ini kami akan share tutorial tentang multi-stage build pada Docker. Sebelum masuk ke tahapannya, perlu kita tahu apa tujuan dari multi-stage build ini sendiri. Tujuan dari penggunaannya sendiri salah satunya adalah untuk mengurangi ukuran dari image. Kenapa ini bisa terjadi ? ya karena yang akan digunakan adalah hanya file-file yang perlu saja dan menghapus yang tidak perlu digunakan. Ada beberapa cara yang dapat digunakan untuk mengecilkan ukuran dari image docker,  Contohnya seperti berikut :

    - Gunakan file .dockerignore untuk menghapus konten yang tidak perlu dari konteks build

    - Cobalah untuk menghindari menginstal paket dan dependensi yang tidak perlu

    - Minimalkan lapisan pada gambar

    - Gunakan image alpine jika memungkinkan

    - Gunakan multi-stage build, yang akan saya kita coba pada tutorial kali ini.

Ya, mari kita coba ke multi-stage build. Multi-stage Build pada Docker adalah fitur baru yang diperkenalkan di Docker 17.05. Ini adalah metode untuk mengurangi ukuran image, membuat organisasi perintah Docker yang lebih baik, dan meningkatkan kinerja sekaligus menjaga Dockerfile mudah dibaca dan dipahami. Multi-stage Build adalah membagi Dockerfile menjadi beberapa tahap untuk meneruskan artefak yang diperlukan dari satu tahap ke tahap lainnya dan akhirnya mengirimkan artefak terakhir di tahap terakhir. Dengan cara ini, gambar akhir kami tidak akan memiliki konten yang tidak perlu kecuali artefak yang kami perlukan. Dan berikut adalah contoh perbandingannya :

1. Dockerfile tanpa menggunakan multi-stage build

```bash
FROM node

RUN apt-get update && apt-get upgrade -y \
    && apt-get clean

RUN mkdir /app
WORKDIR /app

COPY package*.json /app/

RUN npm install

COPY src /app/src

EXPOSE 3000

CMD [ "npm", "start" ]
```

2. Dockerfile menggunakan multi-stage build

```bash
# base
FROM node AS stage1

RUN apt-get update && apt-get upgrade -y \
    && apt-get clean

RUN mkdir /app
WORKDIR /app

COPY package*.json ./

# install dependecies
FROM stage1 AS stage2

RUN npm install

# release / final stage
FROM gcr.io/distroless/nodejs

COPY --from=stage2 /app/node_modules ./node_modules

COPY src /app/src

EXPOSE 3000

CMD [ "/app/src/server.js" ]
```

3. Verifikasi

```bash
[nodejs_app]
09:51 >> docker images
REPOSITORY                 TAG         IMAGE ID       CREATED         SIZE
multistage                 latest      8b71f3886b93   3 minutes ago   131MB
without_multistage         latest      9c570c03752a   2 weeks ago     1.01GB
```

Yaps, dari gambar verifikasi kita dapat membandingkan ukuran antara menggunakan multi-stage build dan tanpa menggunakannya, dalam membuat sebuah image pada docker. Sekian dulu sampai bertemu di tutorial berikutnya!

Read More

Jenkins : Deploy simple java application

 Halo semua, pada kesempatan kali ini kami akan share tutorial tentang deploy aplikasi java sederhana di jenkins. Dan berikut adalah langkah-langkahnya :

1. Fork repositori aplikasi berikut menjadi repo kita pada github

```bash
https://github.com/jenkins-docs/simple-java-maven-app
```

Ada pada bagian pojok kanan atas

2. Buat Project pada jenkins

- Project Name: simple java app

- Type: Freestyle Project

- GitHub project : https://github.com/[YOUR-USERNAME]/simple-java-maven-app

- Source Code Management: git

- Repository URL: https://github.com/[YOUR-USERNAME]/simple-java-maven-app

- Build Triggers: GitHub hook trigger for GITScm polling

- Build: Invoke top-level Maven targets

- Maven Version: (masukan nama Maven yang sudah dibuat dilangkah sebelumnya)

- Goals: clean package

- Save

3. Build

4. Verifikasi

```bash
$ ls -la /var/lib/jenkins/workspace/simple\ java\ app/target/
# kalau ada file *.jar berarti process deploy berhasil
```

Note : karena kita menjalankan jenkins pada localhost, github tidak bisa membacanya, untuk membuatnya dapat diketahui oleh publik dapat dengan langkah berikut

1. Download ngrok

```bash
wget -c https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip
$ sudo apt install unzip -y
$ unzip ngrok-stable-linux-amd64.zip
```

2. Daftar akun ngrok

```bash
https://dashboard.ngrok.com
```

3. Jalankan ngrok

```bash
$ screen -R ngrok
$ ./ngrok authtoken "nomor_token_yang_didapat_di_dashboard_ngrok_com"
$ ./ngrok http 8080
```

Yaps, sekian dulu untuk tutorial kali ini sampai jumpa di tutorial berikutnya!

Read More

Jenkins : Manage Configuration, plugin and etc

 

Halo semua, pada kesempatan kali ini kami akan share tutorial tentang mengatur beberapa konfigurasi global, plugin dan pengaturan yang ada pada jenkins. Berikut adalah beberapa pengaturan sederhananya :

1. Mengatur Konfigurasi Global

Untuk mengatur konfigurasi secara global yang ada pada jenkins, kita bisa lihat pada gambar berikut :

Klik pada bagian, Manage jenkins 

Untuk, beberapa konfigurasi yang kita perlukan ada disana, kali ini kita akan coba untuk konfig JDK dan Mave. jadi kita bisa klik Global Tool Configuration

2. Konfig JDK

Melanjutkan dari langkah sebelumnya, kita akan mengatur JDK pada global tool configuration , berikut beberapa hal yang perlu dilakukan:

Pilih -> Add JDK

3. Konfig Maven

Mengatur maven, masih pada page sama yaitu di global tool configuration

Pilih -> Add Maven

 

Pilih -> save jika sudah tidak ada lagi

4. Mengatur Plugin

Masih sama pada menu dari manage jenkins , kita menuju ke manage plugins 

Pada contoh, kita akan medownload dan install plugin Green Balls , klik pada -> available -> search

Ceklist -> download now and ater it restart 

Yaps, sekian dulu. sampai jumpa di tutorial berikutnya!!

Read More

Jenkins : Create and Build Simple Project

 Halo semua, pada kesempatan kali ini kami akan share tutorial tentang bagaimana caranya membuat dan membangun aplikasi sederhana dengan jenkins. Berikut adalah langkah-langkahnya :

1. Akses jenkins dashboard

2.  Pilih Create job 

3.  Beri nama project dan pilih freestyle project 

4.  Klik pada tab Build -> Add Build step -> Execute shell

5.  Pada Kolom, Command-> isi dengan berikut  echo "Hello from Jenkins!" 

6.  Klik save, lalu akan di arahkan pada dashboard dari project, seperti berikut :

7. Pilih -> Build Now

8. Check pada -> Build History

9. Nomor yang adalah urutan, kita sudah berapa kali membuild. Jika kita klik, muncul seperti berikut :

10. Pilih -> Console Output. Dan lihat pada bagian kanan, akan terlihat seperti berikut :

Yaps, sekian dulu. Sampai jumpa di tutorial berikutnya !!

Read More

Jenkins : Basic Setup

 

Halo semua, pada kesempatan kali ini kami akan share, apa yang dilakuakan setelah berhasil install jenkins. Berikut adalah beberapa hal sederhana tersebut:

1. Unlock

```bash
# Melihat Unlock password
$ sudo cat /var/lib/jenkins/secrets/initialAdminPassword
```

2. Install plugin yang di rekomendasikan

Tunggu sampai prosess selesai !

3. Create user dan password

4.  Atur alamat untuk akses jenkins

Yaps, Jenkins Siap. Sekian dulu, sampai jumpa pada tutorial berikutnya !! 

Read More

Jenkins : How to Install Jenkins

 Halo semua, pada kesempatan kali ini kami akan share tutorial tentang installasi jenkins. Pada Lab kali ini kami menggunakan environment seperti berikut :

- Hardware : 2 Ram, 30Gb disk

- Sistem Operasi : Ubuntu 18.04.1 LTS

Baik, untuk tahapan-tahapan yang akan dilakukan sebagai berikut :

1. Tambahkan repo dan Update

```bash
$ wget -q -O - https://pkg.jenkins.io/debian/jenkins.io.key | sudo apt-key add -
$ sudo sh -c 'echo deb http://pkg.jenkins.io/debian-stable binary/ > /etc/apt/sources.list.d/jenkins.list'
$ sudo apt update -y 
```

2. Install Software yang dibutuhkan

```bash
$ sudo apt-get install openjdk-8-jdk openjdk-8-jre -y
```

3. Install Jenkins

```bash
$ sudo apt install jenkins -y 
```

5. Verifikasi

```bash
$ systemctl status jenkins
$ netstat -tulpn |grep 8080
# check password
$ sudo cat /var/lib/jenkins/secrets/initialAdminPassword
```

Check Pada browser 

Yaps, sampai jumpa pada tutorial berikutnya !!

Read More

Jenkins : What is Jenkins?

 

    Halo semua, pada kesempatan kali ini kami akan berbagi tentang salah satu tools keren dalam lingkup DevOps, yaitu Jenkins. Apasih Jenkins itu ? Jenkins merupakan salah satu tools wajib dalam menunjang proses pengembangan perangkat lunak secara keseluruhan (Continuous Integration) dan memberdayakan tim untuk melaksanakan bagian teknis dari pengiriman berkelanjutan( Continuous Delivery). Sejarah singkat dari Jenkins sendiri bermula dari Project bernama hudson  di tahun 2004 oleh Kohsuke Kawaguchi sebagai project untuk kesenangannya, bisa dibilang hobby. Rilis pertama kali pada 2005, lalu kohsuke bekerja penuh pada project Hudson pada tahun 2008, lalu pada tahun 2010 Menjadi pemimpin solusi continuous Integration dengan pangsa pasar lebih dari 70%. Dan pada tahun 2011 berubah nama menjadi Jenkins.

Beberapa karakter dari jenkins yang dapat kita ambil dari sumbernya jenkins. Sebagai berikut :

- Jenkins adalah continous Integration dan server build.

- Digunakan secara manual, berkala, atau otomatis

- membangun proyek pengembangan perangkat lunak.

- Salah open source continous Integration yang ditulis di Java.

- Jenkins digunakan oleh tim dengan berbagai ukuran, untuk proyek dengan berbagai bahasa.

Terus kenapa kita harus menggunakan Jenkins, bukanya ada CI/CD lain juga, alasan yang dapat menjadi pertimbangan untuk menggunakan Jenkins adalah sebagai berikut:

-  mudah untuk digunakan

- Ekstensibilitas yang bagus : Mendukung sistem version control yang berbeda, Metrik kualitas kode, dapat membuat notifikasi dan Kustomisasi UI.

Untuk minimum sistem untuk menjalankan jenkins, sebagai berikut :

- Minimum

   * 256 Ram

   * 1 GB drive space, jika menjalankan jenkins di atas docker, minimum 10GB

- Rekomendasi untuk Tim kecil

   * 1 GB+Ram

   * 50 GB+ Drive space

Lalu, software tambahan yang diperlukan untuk menjalankan jenkins sendiri adalah Java 8, JRE/JDK sudah cukup. Baik, mungkin itu dulu post kali ini, sampai jumpa di post berikutnya!

Read More

ELK Stack : Shipping metrics data with metricbeat

     Halo semua, pada kesempatan kali ini kami akan share tutorial tentang mengirimkan data metrics dari sebuah server menggunakan metricbeat. Metricbeat adalah beat yang sangat populer yang mengumpulkan dan melaporkan berbagai metrik tingkat sistem untuk berbagai sistem dan platform. Metricbeat juga mendukung modul internal untuk mengumpulkan statistik dari platform tertentu. Anda dapat mengonfigurasi frekuensi Metricbeat mengumpulkan metrik dan metrik spesifik apa yang akan dikumpulkan menggunakan modul dan sub-pengaturan ini yang disebut metricsets. Metric mewakili pengukuran raw penggunaan sumber daya atau perilaku yang dapat diamati dan dikumpulkan di seluruh sistem Anda. Ini mungkin ringkasan penggunaan tingkat rendah yang disediakan oleh sistem operasi, atau dapat berupa jenis data tingkat yang lebih tinggi yang terkait dengan fungsionalitas atau pekerjaan tertentu dari suatu komponen, seperti permintaan yang disajikan per detik atau keanggotaan dalam kumpulan server web. Beberapa metrik disajikan dalam kaitannya dengan kapasitas total, sementara metrik lainnya direpresentasikan sebagai tingkat yang menunjukkan "kesibukan" suatu komponen. Kurang lebih itu penjelasan yang dapat kami ambil, lebih lengkap bisa baca di sini. Untuk langkah-langkahnya sebagai berikut :

1.  Installasi metricbeat 

```bash
$ sudo wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key 
add -
$ sudo echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo 
tee -a /etc/apt/sources.list.d/elastic-7.x.list
$ sudo apt-get update && sudo apt-get install metricbeat
```

2. Konfigurasi metricbeat

```bash
$ sudo cp /etc/metricbeat/metricbeat.yml /etc/metricbeat/metricbeat.yml.origin
$ sudo vi /etc/metricbeat/metricbeat.yml

# berikut adalah contoh untuk send metric dari system dan apache
```
```yaml
metricbeat.modules:
- module: system
  metricsets: ["cpu","memory","network"]
  enabled: true
  period: 15s
  processes: ['.*']
- module: apache
  metricsets: ["status"]
  enabled: true
  period: 5s
  hosts: ["http://10.20.21.23"]
```
```bash
# check apakah index sudah berjalan
$ sudo metricbeat modules enable system
```

3. Atur output dari metricbeat

```bash
# dikirim ke elasticsearch langsung
output.elasticsearch:
  hosts: ["10.20.21.254:9200"]

# dikirim ke logstash
output.logstash:
  hosts: ["10.20.21.254:5044"]
  
# dikirim ke kafka
output.kafka:
  hosts: ["ip_server_kafka:9092"]
  topic: "topicname"
  
# dikirim ke redis
output.redis:
  hosts: ["ip_redis_server:6379"]
  index: "redis.index.for.logstash"
  key: "metricbeat.to.redis"
```

4. Jalankan metricbeat

```bash
# check config untuk verifikasi
$ sudo metricbeat -c /etc/metricbeat/metricbeat.yml test config
$ sudo service metricbeat start
```

5. Verifikasi

```bash
$ curl -XGET '10.20.21.254:9200/_cat/indices?v&pretty'
```

Yaps, sampai jumpa di turorial berikutnya!

Read More

ELK Stack : Shipping logs with filebeat

 

Halo semua, pada kesempatan kali ini kami akan share tentang bagaimana client mengirimkan log ke ELK server, dengan menggunakan filebeat yang merupakan salah satu shipper yang ringan dan banyak digunakan. Untuk environment dari lab kali ini masih sama dengan environmet pada post berikut. Karen bisa dibilang, pada lab ini adalah lanjutannya. Baik, Berikut adalah langkah-langkahnya :

1. Instalasi Filebeat di Ubuntu 18.04

```bash
$ sudo apt -y update

$ sudo wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add -
$ sudo apt -y install apt-transport-https
$ sudo echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | tee -a /etc/apt/sources.list.d/elastic-7.x.list
$ sudo apt -y update && apt -y install filebeat

$ sudo systemctl enable filebeat
$ sudo systemctl status filebeat
```

2. Konfigurasi pada Logstash

```bash
# pada ELK server

$ sudo vi /etc/logstash/conf.d/filter-syslog.conf

```
```json
filter {
  if [fields][log_name] == "syslog" {
    mutate {
      add_tag => [ "syslog" ]
    }
  }
}
```

```bash
$ sudo systemctl restart logstash
$ sudo systemctl status logstash
```

3. Konfigurasi Filebeat

```bash
$ sudo mv /etc/filebeat/filebeat.yml /etc/filebeat/filebeat.yml.original
$ sudo vi /etc/filebeat/filebeat.yml
```
```yaml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/syslog
  fields:
    log_name: syslog

output.logstash:
  hosts: ["10.20.21.254:5044"]
```

4. Aktifkan layanan filebeat

```bash
$ sudo systemctl restart filebeat
$ sudo systemctl status filebeat
```

5. Verifikasi

```bash
$ curl http://10.20.21.254:9200/_cat/indices?v
```

6. Atur dashboard

```bash
# Klik Menu Management > Elasticsearch > Index Management
# Membuat Index Pattern
# Klik Menu Management -> Kibana -> Index Patterns
# Klik Create Index Pattern
# Index Pattern Name: syslog_*
# Klik Next Step
# Time Filter field name: @timestamp
# Klik Create Index Pattern
```

Yaps, sampai jumpa di tutorial berikutnya! 

Read More