import json

def lambda_handler(event, context):
    # TODO implement
    return {
        'statusCode': 200,
        'body': json.dumps('Hello from Lambda!')
    }

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::{S3バケット名}",
                "arn:aws:s3:::{S3バケット名}/*"
            ]
        }
    ]
}

import json
import urllib.parse
import boto3
import pandas as pd
from io import StringIO

# S3クライアント作成
s3_client = boto3.client('s3') 

def lambda_handler(event, context):
    bucket      = '{S3バケット名}' # S3バケットを指定
    key         = '{対象ファイル名}' # S3キーを指定
    next_token  = None
    print(f"Processing file: {key} from bucket: {bucket}")

    # エラーハンドリング処理
    try:
        while True:
            # バケット内のオブジェクトを一覧表示する。 
            ## ページネーション機能を追加する。`next_token`が存在する限り、リスト実行を続ける。
            if next_token:
                s3_list_object = s3_client.list_objects_v2(
                                Bucket=bucket,
                                ContinuationToken=next_token,
                                )
            else:
                s3_list_object = s3_client.list_objects_v2(
                                Bucket=bucket,
                                )

            if "Contents" in s3_list_object:
                for obj in s3_list_object["Contents"]:
                    print(obj["Key"])
            else:
                print("該当バケット内にオブジェクトが存在しない。")

            if s3_list_object.get("IsTruncated"): # キー`IsTruncated`から、リストオブジェクトが全て取得されたかどうかを判定する。
                next_token = s3_list_object["NextContinuationToken"]
            else:
                break

        s3_get_object_response = s3_client.get_object(Bucket=bucket, Key=key) # 呼出し済みS3クライアントで対象オブジェクトを取得
        csv_data = s3_get_object_response['Body'].read().decode('shift-jis') # 対象オブジェクトにおけるBody内容を読込み、デコード処理

        if not csv_data.strip():
            raise ValueError("CSV file is empty or contains only whitespace")

        # データフレーム化して前処理を実施
        df = pd.read_csv(
                StringIO(csv_data),
                encoding = 'utf-8', # UTF-8でエンコード
        )

        '''
        ここに前処理内容を追記する。
        '''

        # 出力先キー名を指定
        output_s3_path = f's3://{bucket}/output_{key}'

        # csv形式で出力
        df.to_csv(
            output_s3_path,
            index = False,
            encoding = 'utf-8', # UTF-8でエンコード
            storage_options={'anon':False},  # S3内のオブジェクトにアクセスするために指定
        )

    except Exception as e:
        print(e)
        print('Error getting object {} from bucket {}. Make sure they exist and your bucket is in the same region as this function.'.format(key, bucket))
        raise e

# ライブラリの追加
import sys
import fsspec
import s3fs     


# 下記、年次の欠損を補完する関数を追加
def fix_year(value, prev_year=[None]):
    value = value.strip() # 空白文字の削除
    if value.isdigit() and len(value)==4: # 文字列が数字であり、4桁である場合、
        prev_year[0] = value # 4桁(例. 1910)の数字をリストに格納
        return value
    elif value.isdigit() and len(value)==2: # 文字列が数字であり、2桁である場合、
        return prev_year[0][:2] + value # 4桁(例. 1910)の先頭から2文字とvalueの文字を結合
    else:
        return value


# 前出の`データフレーム化して前処理を実施`箇所を下記に変更
df = pd.read_csv(
        StringIO(csv_data),
        skiprows=6, # カラム読込み開始行：7行目
        nrows=123, # カラム読込み終了行：124行目
        encoding='utf-8', # UTF-8でエンコード
)      
      
      
# 前出の`ここに前処理内容を追記する。`箇所に下記を追加
## 既存のヘッダ名変更
df.columns = ['year', ' amount_of_population', 'men', 'women']
## dfの型を確認
print('変換前の型：', df.dtypes)
## 関数を用いて`year`データの欠損値補完
df['year'] = df['year'].apply(fix_year)
## `year`の型をintegerに変換し、dfの型を確認
df['year'] = df['year'].astype(int)
print('変換後の型：', df.dtypes)


# 前出の`csv形式で出力`箇所を下記に変更
df.to_csv(
    output_s3_path,
    index = False,
    encoding = 'utf-8', # UTF-8でエンコード
    storage_options={'anon':False},  # S3内のオブジェクトにアクセスするために指定
)

{
    "fileLocations": [
        {
            "URIs": [
                "https://{S3バケット名}.s3.ap-northeast-1.amazonaws.com/{対象データのファイル名}"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "CSV",
        "delimiter": ",",
        "containsHeader": "true"
    }
}