Daily training log

Scene Graph Generation

Kim Sara — Wed, 10 Jul 2024 18:11:11 +0900

Visual scene understanding

기존 Detection, Segmentation은 Object에 초점을 맞춤 => Relation을 캡처하기에는 어려움
Scene Graph로 Relation 정보를 모델링해서 VQA, Captioning, Image grounded dialog 등에 응용할 수 있음

Definition

세가지 요소가 있음 - 주어, 동사, 목적어 찾기
- 어떤 Object instance 있는지 - Girl, Background 등
- Attribute - Object가 어떤 특성을 가지고 있는지
- Relation : Object 사이의 관계 - Girl이 테니스 라켓을 잡고 있음

Edge는 O x R x O로 정의함
일단 O를 찾은 다음에, O끼리 다 연결한 다음에 pruning 하는 방식

I : 이미지
X : Node => 개와 서핑보드가 있는 바운딩 박스
Y tilde : Dog ride surfboard 가 GT, 예측값이 Y tilde

Bounding Box를 찾고, Feature (X)를 가짐
X => Z는 Object Classification
X => Y tilde, 두 Pair 사이의 Feature를 얻으려고 함, Class 간의 관계를 사용함
이미지 자체에서 Y tilde를 뽑아내는 경우도 있음 (RoIAlign 과정)
Loss는 Cross Entropy 사용함
크게 세가지 과정
- Feature Extraction
- Contextualization : Y tilde를 찾아내는 과정
- Graph construction : 그래프를 만들어내는 과정

Approaches of SGG

Bottom-Up : BBOX를 먼저 찾고, Relation을 찾아서 Graph 를 얻음
Top-Down : BBOX와 Relation을 동시에 찾음

Challenges in SGG

어떤 모델을 써서 SGG Modeling을 할 것인가
어떻게 Language 등의 Prior을 사용할 것인가
데이터셋 자체에 내재되어 있는 Long-tailed distribution

Graph R-CNN 논문 리뷰

"Graph R-CNN for Scene Graph Generation"

(a) : RCNN을 통해서 BBOX를 찾음
(b) : Node를 점선으로 연결함
(c) : Top-K만 남기고 Pruning을 함
(d) : GCN을 태움
- Attention에서 쓰는 Score을 사용해서 표현하려고 함 (굵은 점선)

3 Stage
- 1) Object Region Proposal : Faster-RCNN을 통해 BBOX를 얻어냄
  - r: BBOX, x : feature, p : label distribution, C: class
- 2) RePN (Relational Proposal Network)
  - N^2의 Dense relation이 있다고 가정함.
  - 처음에 얻은 p (distribution)을 통해 관계를 찾아냄
    - Kernel function을 통해 관계를 찾아냄 => 최종적으로 얻은 Score matrix를 사용함
  - NMS를 통해 Top-K의 Relation에서 몇개만을 남기고 쳐냄.
- aGCN
  - 이전에 설명한 GCN과 똑같음 - Message passing + Update
  - 연결 되어있는 애들 사이의 Message passing의 weight을 Attention score를 통해 조정함
- Loss
  - 초기에 Region proposal을 사용 - anchor BBOX 사용
  - 이후에는 Relation proposal loss, Cross Entropy
- Metrics로는 Recall을 주로 사용함
  - 원래는 주로 SGGen을 사용 : 주어진 Scene에서 BBOX를 잘 그렸는지, Object 사이의 Relation을 잘 예측했는지
  - Boy wears shirt가 답인데 Men wears shirt라고 하면 아예 틀렸다고 함 => SGGen + 라는 Metric 제안

Graph Neural Networks

Kim Sara — Wed, 10 Jul 2024 02:46:42 +0900

Graph Representation Learning (GRL)

Node Embedding : node의 구조나 피쳐를 잘 조합해서 Feature Vector로 매핑하는 것을 의미
Graph Task
- Node level : Node의 종류 예측, 분류
- Edge level : Node 사이의 Edge가 존재하냐
- Graph level : Graph 자체를 분류, Graph가 다음에 어떻게 바뀔 것인지 prediction
응용
- 구글의 AlphaFold
- 추천 시스템
- AI 신약 개발
- 비전에서 Scene Graph 생성
- Scene Graph으로부터 이미지 생성
- Knowledge Graph

Graph

Node와, Node 사이를 이어주는 Edge로 구성됨.
Node의 Feature를 어떻게 쓸건지, Graph 자체의 Adjacency Matix를 어떻게 쓸건지 초점을 맞춤
위와 같은 그래프를 Homogeneous라고 함

Heterogeneous graph

Node의 종류가 다름.
같은 type의 Node는 Edge가 없음. 위에서는 3 C 2개의 Edge 종류

Node Embedding

비슷한 Node는 Embedding space에 가깝게 위치시키기
Encoder function과 원래 Graph의 Similarity fuction을 정의해야 됨

Node의 유사도를 어떻게 정의할 것인가

Node level
- Degree로 정의
- Clustering coefficient로 정의 : 이웃하는 Node들이 연결되어 있는지

Edge level
- Local neighborhood overlap : 이웃들이 얼마나 겹치는지
  - common neighbors : 단순 겹치는 것 계산, But Degree의 영향을 받을 수 있음
    => Jacarrd, Adamic-Adar 등으로도 계산할 수 있음
  - Random-walk based : Non-deterministic하게 계산

Encoder를 어떻게 정의할 것인가

Shallow embedding : 제일 단순하게는 One-Hot vector를 학습함 => Encoder가 Vector를 look-up하는 방식
- 단점
  - 너무 많은 파라미터를 학습해야 함
  - Transductive 함 (새롭게 나오는 Unseen node를 학습하지 못함) <=> Inductive
GNN의 등장

Graph Neural Network (GNN)

Neural Network를 거쳐서 Hidden representation을 생성함
Convolution
- Graph는 Grid Structure가 아니라 비전의 CNN 같이 Sliding window를 정의할 수 없음

Message Passing NNs (MPNN)

GNN에서 제일 중요한 파트
자기 이웃들로부터 Message 라는 정보를 받아서 학습을 하겠음
A의 노드 정보를 학습하기 위해, 연결되어 있는 B, C, D의 정보를 잘 연결해줘야 됨 / 두가지 파트로 구성
- Message Passing (Aggregation) : 이웃으로부터 합쳐서 정보를 받아옴
- Update : 메세지로부터 자신의 Hidden state를 업데이트 함

h : hidden representation, h^{t+1} : 일종의 레이어
N : neighborhood, v 기준으로 메세지를 보고 있음
위 예시에서는 Sum으로 Aggregate하고 있음
- B, C, D를 합쳐서 A한테 메세지를 보냄 // 자신의 t Rep와 메세지를 합쳐서 t+1 Rep를 만듦
최종적으로 y hat이라는 Representation vector를 얻어냄

메세지 패싱 구조에 NN을 붙이는 게 GNN의 목적
- 위의 예시에서는 Update fuction에 Linear layer 라고 붙임 => 가장 기초적인 GNN
Node의 Feature와 함께, 임의의 detph를 가진 이웃의 정보를 같이 가져올 수 있음
모든 Node에 대해 같은 Parameter를 학습하기 때문에, Inductive capability를 얻을 수 있음
- 새로운 Node가 생겨도 일반화가 가능함

Loss function

Contrastive learning 에서 쓰이는 것처럼, 비슷한 Node는 비슷한 Embedding을 가지도록 학습

Supervised learning처럼 CE 사용 가능

But 위와 같은 방법은 Node의 Degree에 굉장히 민감해짐.
- A 노드가 B 노드에 비해 이웃이 100배 많으면, 너무 큰 노드(A)로 쏠려버림 (Oversmoothing)
- 레이어를 조금만 깊게 쌓아도 (4~5개) 이러한 문제가 발생함
가장 단순하게 Normalization 해서 위의 문제를 해결할 수 있음

Graph Convolutional Network

symmetric-normalization : 자기 이웃들의 Degree를 고려하여 Aggregation passing을 Normalization함
self-loop update : aggregation function에 자기 자신을 합쳐서 효율적으로 update 함
수식은 직접 논문 참고
But, 모든 Node와 Degree를 참고해야 되기 때문에 엄밀하게는 Inductive setting이 아님

GraphSAGE

Neighborhood를 샘플링 (Random walk) 해서 Inductive setting
Aggregate 방식은 위와 똑같음
- 세가지 방식 (Mean, Pool, LSTM) 을 제시해서 관찰함

Negative sampling : Random walk 상에서 같이 등장하지 않을 likelihood를 빼줌
Node 들의 feature를 학습하면, Graph의 Structure를 보여줄 수 있음

이후 연구는 Attention, Transformer 구조를 GNN에 적용하려고 함

참고 자료

https://www.youtube.com/watch?v=P3D4uUupFn4&list=PL6hUlFPFF1SLZBu9OimYx-QOU7svjXQ4t&index=5

Personal Links

Kim Sara — Fri, 29 Dec 2023 18:16:45 +0900

Site : Link
Github : Link
LinkedIn : Link
Google Sholar : Link

티스토리는 정리 목적으로 사용하기에, 댓글을 잘 읽지 않습니다.

궁금한 점이 있다면 kim-seoha@naver.com으로 연락주세요 :)

terminal에서 바로 구글 드라이브 파일 바로 다운 받는 법

Kim Sara — Tue, 5 Oct 2021 17:20:36 +0900

wget "https://drive.google.com/uc?export=download&id=1O1yRuy9yHrTwSjd7AzmaQ6MJ8TOo-QhB"

다음과 같이 명령어를 입력할 경우 대용량 파일의 경우 다음과 같은 오류가 난다

--2021-10-05 08:07:17--  https://drive.google.com/uc?export=download&id=1O1yRuy9yHrTwSjd7AzmaQ6MJ8TOo-QhB
Resolving drive.google.com (drive.google.com)... 173.194.216.113, 173.194.216.102, 173.194.216.101, ...
Connecting to drive.google.com (drive.google.com)|173.194.216.113|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘uc?export=download&id=1O1yRuy9yHrTwSjd7AzmaQ6MJ8TOo-QhB’

uc?export=download&id=1O1yRuy9yHrTwSjd7AzmaQ6MJ8TOo-QhB               [ <=>                                                                                                                                                        ]   3.19K  --.-KB/s    in 0.003s  

2021-10-05 08:07:17 (1.01 MB/s) - ‘uc?export=download&id=1O1yRuy9yHrTwSjd7AzmaQ6MJ8TOo-QhB’ saved [3271]

라고 뜨면서

'uc?export=download&id=1O1yRuy9yHrTwSjd7AzmaQ6MJ8TOo-QhB' 라고 저장되는 사태 발생...

파일이 대용량일 경우에 이런 오류가 발생하는 듯하다

구글링을 통해 다음과 같이 실행하니 해결

export fileid=1O1yRuy9yHrTwSjd7AzmaQ6MJ8TOo-QhB
export filename=train.tar

wget --save-cookies cookies.txt 'https://docs.google.com/uc?export=download&id='$fileid -O- \
     | sed -rn 's/.*confirm=([0-9A-Za-z_]+).*/\1/p' > confirm.txt

wget --load-cookies cookies.txt -O $filename \
     'https://docs.google.com/uc?export=download&id='$fileid'&confirm='$(<confirm.txt)

참고로 fileid의 경우 링크 공유 -> (예시)

https://drive.google.com/file/d/1O1yRuy9yHrTwSjd7AzmaQ6MJ8TOo-QhB/view?usp=sharing에서

file/d/[fildid값]에서 복사하면 된다

train.tar

drive.google.com

Docker 핵심 개념

Kim Sara — Sat, 4 Sep 2021 13:55:56 +0900

1. 도커를 왜 사용해야할까?

Docker는 격리된 환경에서 프로세스를 실행시키기 위해 사용하는 컨테이너 기반의 가상화 플랫폼입니다. 파이썬 패키지들에 대해서만 격리된 환경을 제공하는 Anaconda와 다르게 Docker는 VM 수준의 가상화를 훨씬 빠르고 가볍게 제공하여 어떤 OS건, 어떤 환경에서건 동일한 프로그램의 실행과 관리를 가능케합니다.

일반적인 VM은 하이파이저를 반드시 거치고, 게스트 운영체제를 위한 라이브러리, 커널 등을 전부 포함하기 때문에 이미지의 크기가 커집니다. VM은 완벽한 운영체제를 생성할 수 있다는 단점도 있지만, 일반 호스트에 비해 성능 손실이 있을 수도 있으며, 수 기가바이트에 달하는 가상 머신 이미지를 애플리케이션으로 배포하기에 부담스럽습니다.

이에 비해 Docker는 가상화된 공간을 생성하기 위해 리눅스의 자체 기능인 chroot, namespace, cgroup을 사용함으로써 프로세스 단위의 격리 환경을 만들기 때문에 성능 손실이 거의 없습니다. 컨테이너에 필요한 커널은 호스트의 커널은 호스트의 커널을 공유해 사용하고, 컨테이너 안에는 애플리케이션을 구동하는데 필요한 라이브러리 및 실행 파일만 존재하기 때문에 컨테이너를 이미지로 만들었을 때 이미지의 용량이 VM에 비해 대폭 줄어듭니다.

정리하자면 도커의 장점은 다음과 같습니다.

애플리케이션의 개발과 배포가 편해집니다.
- 도커 컨테이너 자체에 특별한 권한을 주지 않는한 호스트의 OS에는 영향을 주지 않습니다.
- 새롭게 패키지를 설치할 필요나 각종 라이브러리 설치의 의존성을 고려할 필요 없이, '도커 이미지'를 만들어 배포하기만 해도 됩니다.
- 커널을 포함하고 있지 않기 때문에 이미지 크기가 그다지 크지 않습니다. 이미지는 레이어 단위로 구성되며, 중복되는 레이어를 재사용할 수 있어 애플리케이션 배포 속도가 매우 빨라집니다.
여러 애플리케이션의 독립성과 확장성이 높아집니다.
- 여러 모듈이 독립된 형태로 구성되어 언어에 종속되지 않고, 관리가 쉬워집니다.
- 예를 들어, 웹 서비스에 부하가 발생할 시에 웹 서버 컨테이너를 동적으로 늘려서 부하를 분산할 수 있습니다.
- 또한 웹 서비스와 데이터 베이스 이미지를 독립적으로 관리하기 때문에 유지 보수에도 용이해집니다

2. 도커 이미지와 컨테이너

Docker의 핵심 용어로 컨테이너와 이미지만을 언급하고 넘어가자면, 컨테이너란 격리되어 실행되는 환경의 단위로 하나의 VM과 같이 이해 가능합니다. 이미지란 해당 컨테이너가 가지는 격리된 환경 정보입니다. 즉 Anaconda와 비교하여 설명하자면

Anaconda의 Env ≈ Docker 컨테이너
Anaconda의 config.yaml ≈ Docker 이미지

와 같이 생각하시면 쉽습니다. 다만 중요한 점은 컨테이너는 하나의 프로세스라는 점에서 파이썬 패키지들의 저장 경로를 격리함으로써 독립된 환경을 제공하는 Anaconda와 다릅니다. (Anaconda env는 프로세스가 아닙니다)

2.1 도커 이미지

Docker Image는 가상 머신을 생성할 때 사용하는 iso 파일과 비슷합니다. 이미지는 여러 개의 레이어로 된 바이너리 파일로 존재하고, 컨테이너를 생성하고 실행할 때 읽기 전용으로 사용됩니다. 도커에서 사용되는 이미지의 이름은 기본적으로 [저장소 이름]/[이미지 이름]:[태그] 형태로 구성됩니다.

→ 예: plask/ubuntu:14.04

저장소 이름: 이미지가 저장된 장소를 의미합니다. 생략할 경우 Docker hub의 official image를 뜻합니다.
이미지 이름: 해당 이미지가 어떠한 역할을 하는지를 나타냅니다. 생략할 수 없습니다.
태그: 일반적으로 버전을 명시합니다. 생략할 경우 latest로 인식합니다.

도커 이미지는 여러개의 레이어로 구성되어 있으며, 이미지를 커밋할 때 컨테이너에서 변경된 사항만 새로운 레이어로 저장하고, 새로운 이미지의 실제 크기는 변경 전 이미지 크기+변경 과정에서 추가된 레이어의 크기가 됩니다. 이미지 레이어를 재사용하기 때문에 효율적으로 효율적으로 애플리케이션을 배포할 수 있습니다. 이미지를 생성했다면 도커를 배포할 방법이 필요한데 Docker Hub와 Docker Private Registry를 이용하는 방법이 있습니다.

2.2 도커 컨테이너

Docker Container는 이미지 목적에 맞는 파일을 들어있는 파일 시스템과 격리된 시스템 자원 및 네트워크를 사용할 수 있는 독립된 공간입니다. 대부분 도커 컨테이너는 생성될 때 사용된 이미지의 종류에 따라 알맞은 설정과 파일을 가지고 있기 때문에 도커 이미지의 목적에 맞도록 사용하는 것이 일반적입니다. 컨테이너를 이미지를 읽기 전용으로 사용하되 이미지에서 변경된 사항만 컨테이너 계층에 저장하므로 컨테이너에서 무엇을 하든지 원래 이미지는 영향을 받지 않습니다. 또한 컨테이너는 각기 독립되어 있으므로 특정 컨테이너에서 어떤 애플리케이션을 설치하거나 삭제해도 다른 컨테이너와 호스트는 변화가 없습니다.

3. 도커 볼륨

도커 이미지로 컨테이너를 생성하면 이미지는 읽기 전용이 되며 컨테이너의 변경 사항만 별도로 저장해서 각 컨테이너의 정보를 보존합니다. 이미 생성된 이미지는 어떠한 경우로도 변경되지 않으며, 컨테이너 계층에 원래 이미지에서 변경된 파일 시스템 등을 저장합니다.

그러나 해당 컨테이너를 삭제하면 컨테이너 계층에 저장되어 있던 데이터 베이스의 정보도 삭제된다는 점입니다. 도커의 컨테이너는 생성과 삭제가 매우 쉬우므로 실수로 컨테이너를 삭제하면 데이터를 복구할 수 없게 됩니다. 이를 방지하기 위해 컨테이너의 데이터를 영속적 데이터로 활용하는 방법이 있는데 Docker Volume을 활용하는 방법입니다.

Docker Volume을 사용하는 방법은 여러개가 있습니다.

호스트와 볼륨을 공유하는 방법
볼륨 컨테이너를 활용하는 방법
도커가 관리하는 볼륨을 생성하는 방

4. 도커 허브와 도커 프라이빗 레지스트리

4.1 도커 허브

Docker Hub는 maven repository와 같이 외부에 공개되어 있는 도커 이미지 레포지토리로, 도커 이미지를 위한 클라우드 서비스라고 생각하면 쉽습니다. docker pull 명령을 이용하여 컨테이너를 로컬에 받아 오거나, Docker image 빌드 시 베이스 이미지 등을 받아오는데 주로 사용됩니다. 결제하지 않으면 비공개 저장소의 수가 제한되어 있다는 단점이 있으나 공개 저장소는 무료로 사용할 수 있으므로 만든 이미지를 다른 사용자에게도 공개해도 없다면 좋은 선택입니다.

4.2 도커 프라이빗 레지스트리

Docker Private Registry는 사용자가 직접 이미지를 저장소를 만드는 방법입니다. 그러나 사용자가 직접 이미지 저장소 및 사용되는 서버, 저장 공간 등을 관리해야 하므로 도커 허브보다는 사용법이 까다롭습니다. 그러나 회사의 내부망 같은 곳에서 도커 이미지를 배포해야 한다면 도커 사설 레지스트리가 더 좋은 방안이 될 수 있습니다.

5. Dockerfile

개발한 애플리케이션을 컨테이너화할 때 가장 먼저 생각나는 방법은 아래와 같습니다.

아무것도 존재하지 않는 이미지로 컨테이너를 생성 → 애플리케이션을 위한 환경을 설치하고 소스코드 등을 복사해 잘 동작하는 것을 확인 → 컨테이너를 이미지로 커밋

이 방법을 사용하면 일일이 수작업으로 패키지를 설치하고 소스코드를 git에서 복제하거나 호스트에서 복사해야 한다는 단점이 있습니다. 직접 컨테이너에서 애플리케이션을 구동해보고 이미지로 커밋하기 때문에 이미지의 동작을 보장할 수 있다는 장점도 있습니다.

도커는 위와 같은 일련의 과정을 손쉽게 기록하고 수행할 수 있는 빌드(build) 명령어를 제공합니다. Dockerfile은 완성된 이미지를 생성하기 위해 컨테이너에 설치해야 하는 패키지, 추가해야 하는 소스코드, 실행해야 하는 명령어와 셸 스크립트 등을 하나의 파일에 기록해두면 도커는 이 파일을 읽어 이미지로 만들어냅니다.

도커 파일을 사용하면 직접 컨테이너를 생성하고 이미지로 커밋해야 하는 번거로움을 덜 수 있을 뿐더러 git과 같은 개발 도구를 통해 애플리케이션의 빌드 및 배포를 자동화할 수 있습니다. 또한 도커 이미지를 도커 허브에 배포하는 대신, 도커 파일을 배포할 수도 있습니다.

6. 도커 데몬

도커의 구조는 크게 두 가지로 나뉩니다. 하나는 클라이언트로서의 도커이고, 다른 하나는 서버로서의 도커입니다. 실제로 도커 서버는 실제로 컨테이너를 생성하고 실행하며 이미지를 관리하는 주체이고, 이는 dockerd 프로세스로서 동작합니다. 도커 엔진은 외부에서 API를 받아서 도커 엔진의 기능을 수행하는데, 도커 프로세스가 실행되어 서버로서 입력을 받은 준비가 된 상태를 도커 데몬이라고 이야기합니다. 도커 데몬은 API의 입력을 받아 도커 엔진의 기능을 수행하는데, 이 API를 사용할 수 있도록 CLI를 제공하는 것이 도커 클라이언트입니다.

사용자가 docker로 시작하는 명령어를 입력하면 도커 클라이언트를 사용하는 것이며, 도커 클라이언트는 입력된 명령어를 로컬에 존재하는 도커 데몬에게 API로서 전달합니다. 이때 도커 클라이언트는 /var/run/docker.sock에 위치한 유닉스 소켓을 통해 도커 데몬 API를 호출합니다.

즉, 터미널이나 PuTTY 등으로 도커가 설치된 호스트에 접속해 docker 명령어를 입력하면 아래와 같은 과정으로 도커가 제어가 됩니다.

사용자가 docker version 같은 도커 명령어를 입력합니다.
/user/bin/docker는 /var/run/docker.sock 유닉스 소켓을 사용해 도커 데몬에게 명령어를 전달하빈다.
도커 데몬은 이 명령어를 파싱하고 명령어에 해당하는 작업을 수행합니다.
수행 결과를 도커 클라이언트에게 반환하고 사용자에게 결과를 출력합니다.

우분투에서는 도커가 설치되면 자동으로 서비스로 등록되므로 호스트가 재시작되더라도 자동으로 실행됩니다. 레드햇 계열의 운영체제는 도커를 설치해도 자동으로 실행되도록 설정되지는 않으므로, 따로 설정을 해주어야 합니다.

[Mac] AWS EC2 환경에서 GUI 설치

Kim Sara — Thu, 11 Feb 2021 05:19:24 +0900

Mac OS Big Sur Version 11.1에서 진행

본인 설정에 맞춰 필요한대로 인스턴스를 생성해주자

1. 보안 그룹으로 들아가서 인바운드 규칙에 다음과 같이 추가해주자

* 모든 TCP 유형 선택 - 소스 : 내 IP 추가
* SSH 유형 선택 - 소스 : 내 IP 추가
* RDP 유형 선택 - 소스 : 내 IP 추가

위치 무관으로 소스 추가하면 편하지만 몇분 만에 해킹 당할 위험이 있다고 한다.

불편해도 꼭 내 IP로 소스를 여러번 해주자.

2. 연결 버튼을 누르면 터미널에서 접속할 수 있는 명령어를 보여주는데 이를 복사해 터미널에 입력한다

마지막 명령어를 복사해서 pem키 있는 위치에서 터미널을 키고 입력하면 쉽게 접속할 수 있다

ssh -i "[본인의 펨키 이름].pem" ubuntu@[본인의 퍼블릭 DNS]

위의 문제가 없다면 ssh로 ec2에 연결이 될 것이다.

ubuntu@ip-[IP 주소 표시]라고 표시되면 성공이다

3. 먼저 apt-get update를 해준다

sudo apt-get update
sudo apt-get upgrade

나는 apt-get install 단계에서 다음과 같은 에러가 떴는데

(Torch 0.3.0 / Python 2.7이 미리 설치된 마켓플레이스 AMI를 설치해서 뭔가 설정이 다른 것 같다. )

혹시라도 마찬가지의 에러가 뜬다면 다음 명령어를 실행해주자

에러가 뜨지 않는다면 다음 단계로 바로 진행해도 된다.

E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)

E: Unable to lock the administration directory (/var/lib/dpkg/), is another process using it?

sudo killall apt apt-get

apt: no process found

apt-get: no process found 라고 뜨면 아래의 코드를 차례로 입력한다.

sudo rm /var/lib/apt/lists/lock
sudo rm /var/cache/apt/archives/lock
sudo rm /var/lib/dpkg/lock*

sudo dpkg --configure -a
sudo apt update

이제 정상적으로 apt-get install이 된다.

4. 아래 파일을 편집해준다

sudo vim /etc/ssh/sshd_config

아래로 내려서 PasswordAuthentication yes를 해준다

수정이 끝났으면 ESC 키를 누른뒤 :wq!를 입력하고 엔터를 누른다

다 하고 나면 변경사항을 즉시 적용해주기 위해 명령어를 친다

sudo /etc/init.d/ssh restart

5. ubuntu 계정의 비밀을 설정해준다

sudo –i
passwd ubuntu

(*참고로 패스워드를 입력해도 보이지 않는다.)

우분투 계정으로 다시 접속한다

su ubuntu
cd ~

6. ubuntu-desktop을 설치해준다

export DEBIAN_FRONTEND=noninteractive
sudo apt-get update
sudo apt-get install -y ubuntu-desktop

우분투 데스크톱 설치는 다소 오래 걸린다

7. XRDP 와 xfce4 를 설치한다

sudo apt-get install xfce4 xrdp
sudo apt-get install xfce4 xfce4-goodies

xfce4 가 기본 매니저가 되도록 설치해준다

echo xfce4-session > ~/.xsession
sudo cp /home/ubuntu/.xsession /etc/skel
chmod a+x ~/.xsession
sudo systemctl restart xrdp

8. xrdp.ini 와 sesman.ini를 편집한다

sudo vim /etc/xrdp/xrdp.ini

[xrdp1]
port=-1

로 되어있는 걸 port=ask-1로 수정해준다

수정이 완료하면 ESC 키 -> :wq! 엔터

sudo vi /etc/xrdp/sesman.ini

[Security]

#TerminalServerUsers=tsusers

#TerminalServerAdmins=tsadmins

로 각주 표시를 해준다

[Sessions]

MaxSessions=100으로 수정한다

다 수정했으면 xrdp를 재시작해준다

sudo systemctl restart xrdp

여기까지 해줬으면 원격접속을 위해 CoRD 프로그램을 설치한다

http://cord.sourceforge.net/

CoRD: Remote Desktop for Mac OS X

CoRD was a Mac OS X remote desktop client for Microsoft Windows computers using the RDP protocol. It's easy to use, fast, and free for anyone to use or modify. Announcements 2020-04-13: This project is defunct. Most people will be happy with Microsoft's cl

cord.sourceforge.net

File-New Server로 서버를 새로 추가해주자

Label 이름을 임의로 써주고, Address에는 인스턴스의 퍼블릭 IPv4 주소을 입력해준다

Username에는 root로, Password에는 5번에서 설정한 Ubuntu 비밀번호를 입력한다

그러면 이런 창이 뜰 것이다.

username은 ubuntu로 수정, password는 다시 5번에서 설정한 Ubuntu 비밀번호를 입력한다

본 화면이 뜨면 성공이다

파이썬 코딩테스트/알고리즘 참고 사이트

Kim Sara — Fri, 13 Nov 2020 16:10:58 +0900

1. 알고리즘 비쥬얼라이저 (https://algorithm-visualizer.org/)

Algorithm Visualizer

algorithm-visualizer.org

- 핵심 알고리즘 소스코드와 시각화 자료를 제공한다

2. Big O 치트시트 (https://www.bigocheatsheet.com/)

Big-O Algorithm Complexity Cheat Sheet (Know Thy Complexities!) @ericdrowell

Know Thy Complexities! Hi there! This webpage covers the space and time Big-O complexities of common algorithms used in Computer Science. When preparing for technical interviews in the past, I found myself spending hours crawling the internet putting t

www.bigocheatsheet.com

- 자료구조/알고리즘의 시간 복잡도를 비교해준다

3. 이것이 취업을 위한 코딩 테스트다 with 파이썬(www.yes24.com/Product/Goods/91433923)

이것이 취업을 위한 코딩 테스트다 with 파이썬

나동빈 저자의 유튜브 라이브 방송 https://www.youtube.com/c/dongbinnaIT 취준생이라면 누구나 입사하고 싶은 카카오 · 삼성전자 · 네이버 · 라인!취업의 성공 열쇠는 알고리즘 인터뷰에 있다!IT 취준생

www.yes24.com

- 카카오, 라인, 삼성전자의 2016년부터 2020년까지의 코딩 테스트와 알고리즘 대회의 기출문제를 수록하였다.

- 최근 5년간의 코딩 테스트 기출문제를 분석하여 필수 알고리즘을 8가지로 정리하였다고 한다.

- 위 책의 소스코드는 https://github.com/ndb796/python-for-coding-test

4. Hello Coding 그림으로 개념을 이해하는 알고리즘 (https://www.hanbit.co.kr/store/books/look.php?p_code=B5896248244)

Hello Coding 그림으로 개념을 이해하는 알고리즘 - 비전공자도 볼 수 있는 헬로 코딩

프로그래밍 세계로 초대하는 알고리즘 입문서이며 비전공자를 위한 헬로 코딩(Hello Coding) 시리즈 도서다. 중학생 이상의 수학 실력이라면 읽을 수 있는 쉬운 난이도의 알고리듬 도서로 전공자,

www.hanbit.co.kr

- 중학교 수준의 수학 지식만 있으면 이해할 수 있도록 쉽게 설명했다고 한다.

- 위 책의 소스코드는 https://drive.google.com/file/d/0B0a9gIgaf4hXSUtGOXJoYVBCZGc/view

파이썬 시각화 라이브러리 참고 사이트

Kim Sara — Fri, 30 Oct 2020 01:43:45 +0900

1. 데이터 투 비즈 (www.data-to-viz.com)

From data to Viz | Find the graphic you need

A classification of chart types based on their input data format.

www.data-to-viz.com

- 데이터 타입이 수치형 / 범주형 / 혼합형 / 시계열 등인지에 따라 어떤 그래프를 그리는 것이 좋을지 한눈에 보기 좋게 정리한 사이트

2. Plotly (plotly.com/python/)

1. R과 비슷하다

2. 인터랙티브 그래프를 만들기 쉽다

3. 복잡한 그래프를 짧은 코드로 만들어준다

의 장점을 가진 파이썬 시각화 라이브러리 Plotly. 파이썬으로 인터랙티브 그래프를 짧은 코드로 만들어준다.

3. Altair (altair-viz.github.io)

1. 문법이 쉽다.

2. 데이터 집계가 편하다.

3. 그래프 끼리의 연결이 편하다.

는 장점을 가진 Altair. 그러나 디폴트 그래프가 Seaborn이나 Plotly만큼 그리 예쁘지 않다는 단점이 있다.

4. Folium (python-visualization.github.io/folium/)

- 지도와 마커를 그리기 쉬운 인터랙티브 지도 시각화 라이브러리. 히트맵과 같은 플러그인도 제공해준다.

머신러닝 제로베이스 코드 구현 사이트

Kim Sara — Thu, 23 Jul 2020 23:12:46 +0900

ML from Scratch ( github.com/eriklindernoren/ML-From-Scratch )

Machine Learning From Scratch
- About
- Table of Contents
- Installation
- Examples
  - Polynomial Regression
  - Classification With CNN
  - Density-Based Clustering
  - Generating Handwritten Digits
  - Deep Reinforcement Learning
  - Image Reconstruction With RBM
  - Evolutionary Evolved Neural Network
  - Genetic Algorithm
  - Association Analysis
- Implementations
  - Supervised Learning
    1. Adaboost
    2. Bayesian Regression
    3. Decision Tree
    4. Gradient Boosting
    5. K-nearest Neighbors
    6. Linear Discriment Analysis
    7. Logistic Regression
    8. Multi Class Lda
    9. Naive Bayes
    10. Multi-Layer Perceptron
    11. Neuro-Evolution
    12. Particle Swam Evolution
    13. Perceptron
    14. Random Forest
    15. Regression
    16. Support Vector Machine
    17. Xgboost
  - Unsupervised Learning
    1. Apriori
    2. Auto Encoder
    3. DBScan
    4. DCGAN
    5. FP Growth
    6. Gausian Mixture Model
    7. Generative Adversary Model
    8. Genetic Algorithm
    9. K-Means
    10. Partitioning Around Memoids
    11. Principal Component Analysis
    12. Restricted Boltzmann Machine
  - Reinforcement Learning
    1. Deep Q Network
  - Deep Learning
    1. Activation Functions
    2. Layers
    3. Loss Functions
    4. Neural Networks
    5. Optimizers
- Contact