우주먼지의 하루

python DataFrame을 분할하고 싶을때, N 등분하고 싶을 때 방법 numpy의 split이나 array_split을 사용하면 가능! #정확하게 10등분하기 #정확하게 10등분하지 못하는 행의 수는 에러 메세지 출력 # ex)23/10 = 2.3으로 나머지가 3이 남기때문에 정확하게 n 등분하지 못함 sep_df=[df.loc[idx] for idx in np.split(df.index,10)] #비슷한 행의 수로 10등분하기 #정확하게 10등분하지 않아도 비슷한 숫자로 분할 sep_df=np.array_split(df,10) #sep_df[0],sep_df[1],...로 확인 가능

python이랑 hive JDBC 연결하는 방법 hive 말고 다른 DB 서버랑도 연결 가능! https://pypi.org/project/JayDeBeApi/ JayDeBeApi Use JDBC database drivers from Python 2/3 or Jython with a DB-API. pypi.org #pip install 설치 import jaydebeapi as jp import os import pandas as pd path = 'jar 파일 있는 디렉토리' #jar 파일 전체 들고오기 file_list = os.listdir(path) jar_list = [path + file for file in file_list if file.endswith(".jar")] # .jar로 끝나..

DataFrame에서 특정 컬럼만 데이터 형식(type) 바꾸고 싶을때 ! #type 바꾸기 df = df.astype("int") #특정 컬럼만 type 바꾸기 df = df.astype({"column_1":"string","column_2":"float","column_3":"int"})

매월 다른 마지막 날짜를 구하기 위한 함수 1. 필요한 라이브러리 from dateutil import rrule from datetime import date from datetime import datetime from datetime import timedelta from dateutil import relativedelta import time 2. 시작 날짜 구하기 나는 여러 월의 마지막 날짜를 한번에 구하기 위해서 시작 날짜를 list로 만들었다 2019.01 ~ 2022.03 기간의 마지막 날짜를 구하기 위해서 시작 날짜를 만들어 줬다 date = list(rrule.rrule(rrule.MONTHLY, dtstart=date(2019,1,1), util=date(2022,3,1))) sta..

pandas로 to_feather 을 했는데 feather 파일 아니라고 에러 뜸... 찾아보니까 버전 문제인거같다 간단하게 version = '1.0' 만 추가해주면 됨 df.to_feather("df.feather",version='1.0') 간단하게 오류 해결 ~!

매번 구글링해서 기록용으로 포스팅 from datetime import datetime start_time = datetime.now() print(start_time) end_time = datetime.now() print(end_time) time = end_time - start_time print(time)

알파벳 리스트 만들일이 있어서 찾아본 라이브러리 물론 하나하나 다 적어서 할 수 있지만 라이브러리 있는데 굳이 ! from string import ascii_lowercase alphabet_list = list(ascii_lowercase) print(alphabet_list) 이렇게 하면 알파벳 리스트 만들기 가능 !

이게 참 설명하기 어려운데 리스트에서 다른 리스트 원소가 있는지 파악하고 싶을때 쓰는 방법 my_list = ['abc' , 'bbb' , 'ddd'] matchers = ['abc','def'] 이렇게 두 개의 리스트가 있을 때, my_list 안에 matchers의 리스트에 있는 원소만 골라내고 싶을 때 !!! matching = [s for s in my_list if any(xs in s for xs in matchers)] 이렇게 사용하면 된다 !!!

Model 저장 및 불러오기 model.fit(tr_x, tr_y) #모델 저장 model.save('model.h5') #모델 불러오기 import tensorflow as tf load_model = tf.keras.models.load_model('model') Scaler 저장 및 불러오기 scaler.fit(tr_x) # scaler 저장하기 from pickle import dump dump(scaler,open('./scaler.pkl','wb')) #scaler 불러오기 from pickle import load load_scaler = load(open(./scaler.pkl,'rb'))

Python 에서 컬럼 비교할때 list 비교해서 없는것만 찾고싶은데 컬럼이 너무 많으면 환장 ! 쉽게 두 리스트 비교하는 방법을 알게 되어서 기록용 포스팅 일단 내가 하고 싶은 건 a = ['1','2','3','4'] b = ['1','2'] ----> ['3','4'] 이런식으로 두 리스트에서 다른 것만 빼내오고 싶었다 >> 코드