본문 바로가기

분류 전체보기

[회고록] 시작합니다 '회고록'이라는 카테고리는 생성해두고 막상 글은 올리지 않고 있었는데, 이제 회고를 올려보려고 한다. 주니어만의 이런저러한 고민이 있는데 프로젝트를 진행하면서 어려운 점, 느낀 점 이런저런 이야기들을 기록해보려고 한다. 글을 쓰는 과정은 생각에서 머물던 것이 휘발하지 않게 돕고, 돌아다니던 생각을 가다듬을 수도 있으며 추후에 다시 보기 위함도 있다 # 2년차 개발자의 성장 스토리33일 후에는 3년차 개발자가 된다. 주니어로서 2년을 꽉 채우게 되는 시점이기도 하다. 비전공자로 IT회사에 입사했지만 아무 것도 모르는 것 같고, 능동적인 성장을 위해 무엇을 할 수 있을까 고민하다가 기술 블로그를 시작해야지 하고 어제 다짐하게 되었다. 고민상담을 해준 chat GTP 정말 고마워~ 다른 사람들도 이야기하지만 .. 더보기
데이터 파이프라인(Data Pipeline), 데이터 파이프라인 개발자 IT 프로젝트를 진행하거나, 데이터 관련 분야에 관심이 있는 분이라면 '데이터 파이프라인'이라는 단어를 들어보신 적이 있으실텐데요. 저는 IT분야에서 일하는 종사자이다보니 프로젝트에서, 그리고 관련 자격증 시험 등에서도 '데이터 파이프라인'이라는 단어를 종종 접하곤 합니다. 그렇지만 정확히 의미하는 바를 잘 알지는 못했습니다. 언젠가 질문을 하고서도 그 인풋을 제대로 저장하지 않아 날아가버렸을지도 모르겠네요.  만약 이 글을 읽는 분이 개발자이시라면,  IT 관련 용어들에 대해 정확히 그 의미들을 스스로 아는 것이 중요한 것 같습니다. 특히 회사에서는 모든 것을 떠먹여 주지 않기 때문에 개인적인 공부와 노력이 반드시 수반되어야 하는 것 같습니다.  이 글에서는 첫 번째로 데이터 파이프라인이란 무엇인지(데.. 더보기
[MariaDB] JSON Data Parsing MariaDB  에서 JSON Data를 Parsing 하기 위해 알아야 할 내용은 무엇일까요?  우선, MariaDB 에서 제공하는 JSON 처리함수를 확인하는 것이 중요합니다. DBMS마다 JSON 데이터를 처리하는 방식이 다르며, 각 DBMS 는 고유한 JSON 함수와 사용법을 제공합니다. 이로 인해 특정 기능의 구현 방법이나 쿼리 문법이 다를 수 있습니다.  또한 DBMS에 버전에 따라 제공하는 함수가 다를 수 있으므로,  사용중인 MariaDB (또는 사용중인 DBMS)의 버전을 확인하는 것도 필요합니다.  - 참고 : DBMS별 JSON 전용 데이터 타입 지원 여부에 따른 구분 JSON  전용 데이터 타입 지원: MySQL, PostgreSQL, Oracle 등문자열로 JSON 처리 : SQL.. 더보기
[데이터 전처리] 결측치, 노이즈, 이상값 처리하기 안녕하세요. 티나입니다:) 오늘은 결측치, 노이즈, 이상값 처리에 대해 정리해봅니다. 결측치, 노이즈, 이상값 처리는 데이터를 전처리하는 하는 작업 중 데이터 정제 단계에 속하는 작업입니다. 그렇다면 데이터 전처리에 관해 간략하게 알아보고, 결측값과 노이즈, 이상값을 각각 어떻게 처리하는지 처리 방법에 대해 알아보겠습니다.데이터 전처리데이터 분석을 위해 데이터를 가공하는 작업으로 데이터 전처리는 분석 결과에 영향을 미칩니다.  일반적으로 가장 많은 시간이 소요되는 단계에 속합니다.데이터 전처리의 작업순서데이터 정제 (Data Cleaning) - 데이터 통합(Data Intergration) - 데이터 축소(Data Reduction) - 데이터 변환(Data Transformation) 데이터 정제 단.. 더보기
[C언어] 전처리 지시자(preprocess directives), 자주 사용되는 전처리 지시자 전처리지시자란 컴파일이 시작되기 전에 소스 코드를 처리하기 위한 명령어입니다. 전처리기는 이러한 지시자들을 해석해 조건부 컴파일, 매크로 치환, 파일 포함 등을 수행합니다. 전치리 과정에서 처리되는 문장은 #으로 시작합니다.자주 사용되는 전처리 지시자  #inlude  #include // 표준 라이브러리 포함#include "myheader.h" // 사용자 정의 헤더 파일 포함외부 헤더 파일을 프로그램에 포함합니다.대표적인 헤더파일 stdio.h 표준 라이브러리 파일을 포함할 때는 사용하고, 사용자 정의 파일은 " " 사용합니다.puts(), printf(), scanf(), putchar(), getchar() 등과 같은 입출력 함수가 정보에 정의됩니다 #define#define PI 3.1.. 더보기
Informatica Cloud <-> Maria DB 연결하기 인포매티카 클라우드에서 DAS connector를 사용하여 Maria DB와 연결DAS Connector(Action)에서 SQL Query를 Binding하여 그 결과를 확인할 수 있습니다※ 가이드문서 참고 🏷️ HOW TO: Connect to MariaDB using JDBC Generic Cloud Adapter in Application Integrationhttps://knowledge.informatica.com/s/article/000184021?language=en_US 🏷️ JDBC Connection Propertieshttps://docs.informatica.com/integration-cloud/application-integration/current-version/jdbc-.. 더보기
MLOps 에 관하여 chatgpt가 알려준 MLOps 정리해두기💡 MLOps는 어떤 일을 하나요?MLOps 엔지니어의 주 업무는 머신러닝 모델을 안정적이고 반복 가능한 방식으로 배포, 관리, 모니터링하는 것입니다. 아래는 주된 작업들을 단계별로 정리한 내용입니다. 1️⃣ 데이터 준비 및 파이프라인 구축데이터 수집, 정제, 전처리: 모델이 학습할 수 있도록 데이터를 준비합니다.ETL(Extract, Transform, Load) 파이프라인 설계: 데이터베이스나 외부 소스에서 데이터를 가져와 모델 학습에 적합하게 변환합니다.자동화된 데이터 파이프라인: 새로운 데이터가 들어오면 모델을 재학습할 수 있게 자동화합니다.🛠 사용 도구: Informatica, Apache Airflow, AWS Glue💡예시: 예를 들어, 세일즈.. 더보기
'BEGIN NOT ATOMIC' 사용하는 이유 Atomicity 원자성트랜잭션 ACID 성질 중 A에 해당하는 Atomicity 원자성. 이는 하나의 트랜잭션의 연산들이 모두 성공하거나 반대로 전부 실패되는 성질을 말합니다. Atomic transaction은 종종 느린 경우를 볼 수 있는데 이는 시스템이 모든 작업이 성공하거나 아무것도 성공하지 않도록 보장해야 하기 때문입니다. 여기에는 리소스 잠금, 데이터 일관성 보장, 실패 시 롤백 처리가 포함됩니다.   BEGIN NOT ATOMIC 을 사용하는 이유 이를 토대로 생각해보았을 때 BEGIN NOT ATOMIC 구문을 사용하는 것은 이 원자성이 충족되지 않아도 된다는 의미입니다. BEGIN NOT ATOMIC 을 사용하는 이유들로는 다음과 같은 내용이 있을 수 있습니다.  부분적 성공을 허용시키.. 더보기

티스토리툴바