How to get last n values in each row using pandas

Question

I have a df which contains quite similar to below. it has many columns and some of them contains NaN. I want to get last n elements from the each row excluding NaN. Where n represent 3 here.

Input :

   col1  col2  col3  col4   col5  col6    col7  col8   col9   col10  col11  \
0   NaN   NaN  23.0    23   23.0   NaN    23.0  23.0  123.0     NaN    NaN   
1   NaN   NaN   NaN    45   12.0  23.0    23.0   NaN    NaN     NaN    NaN   
2  45.0  56.0  34.0    23  323.0  12.0     NaN   NaN    NaN     NaN    NaN   
3   NaN   NaN  34.0    65    NaN  65.0  2343.0   NaN    NaN  2344.0    2.0   
4   NaN   NaN   NaN     5  675.0  34.0    34.0  34.0    NaN     NaN    NaN   
5  34.0  45.0  45.0    45    NaN   NaN     NaN   NaN    NaN     NaN    NaN   

   col12  col13   I  
0    NaN    NaN  r1  
1    NaN    NaN  r2  
2    NaN    NaN  r3  
3  324.0  234.0  r4  
4    NaN    NaN  r5  
5    NaN    NaN  r6 

Output:

   col1  col2  col3  col4   col5  col6    col7  col8   col9   col10  col11  \
0   NaN   NaN  23.0    23   23.0   NaN    23.0  23.0  123.0     NaN    NaN   
1   NaN   NaN   NaN    45   12.0  23.0    23.0   NaN    NaN     NaN    NaN   
2  45.0  56.0  34.0    23  323.0  12.0     NaN   NaN    NaN     NaN    NaN   
3   NaN   NaN  34.0    65    NaN  65.0  2343.0   NaN    NaN  2344.0    2.0   
4   NaN   NaN   NaN     5  675.0  34.0    34.0  34.0    NaN     NaN    NaN   
5  34.0  45.0  45.0    45    NaN   NaN     NaN   NaN    NaN     NaN    NaN   

   col12  col13   I                 res1  
0    NaN    NaN  r1  [23.0, 23.0, 123.0]  
1    NaN    NaN  r2   [12.0, 23.0, 23.0]  
2    NaN    NaN  r3    [23, 323.0, 12.0]  
3  324.0  234.0  r4  [2.0, 324.0, 234.0]  
4    NaN    NaN  r5   [34.0, 34.0, 34.0]  
5    NaN    NaN  r6     [45.0, 45.0, 45] 

So Far I get the solution using below code.

df['res1']=df.apply(lambda x:x.dropna().values.tolist()[len(x.dropna().values.tolist())-4:len(x.dropna().values.tolist())-1],axis=1)

My solution looks very ineffective, First thing i'm using lambda which yields my code performance to low, and repeating same method to get index.

I hope to get clear performance solution for this problem.

Input Dataframe file is here

df=pd.read_csv('s1.csv')#code to reproduce input

Answer 1

Solution if each row have more non missing rows like treshold:

use numpy with justify function:

df['res1'] = justify(df.iloc[:, :-1].values, invalid_val=np.nan, side='right')[:, -3:].tolist()
print (df)
   col1  col2  col3  col4   col5  col6    col7  col8   col9   col10  col11  \
0   NaN   NaN  23.0    23   23.0   NaN    23.0  23.0  123.0     NaN    NaN   
1   NaN   NaN   NaN    45   12.0  23.0    23.0   NaN    NaN     NaN    NaN   
2  45.0  56.0  34.0    23  323.0  12.0     NaN   NaN    NaN     NaN    NaN   
3   NaN   NaN  34.0    65    NaN  65.0  2343.0   NaN    NaN  2344.0    2.0   
4   NaN   NaN   NaN     5  675.0  34.0    34.0  34.0    NaN     NaN    NaN   
5  34.0  45.0  45.0    45    NaN   NaN     NaN   NaN    NaN     NaN    NaN   

   col12  col13   I                 res1  
0    NaN    NaN  r1  [23.0, 23.0, 123.0]  
1    NaN    NaN  r2   [12.0, 23.0, 23.0]  
2    NaN    NaN  r3  [23.0, 323.0, 12.0]  
3  324.0  234.0  r4  [2.0, 324.0, 234.0]  
4    NaN    NaN  r5   [34.0, 34.0, 34.0]  
5    NaN    NaN  r6   [45.0, 45.0, 45.0]

If not, need loops:

#changed a bit https://stackoverflow.com/a/40835254
def loop_compr_based(a, last):
    mask = ~np.isnan(a)
    stop = mask.sum(1).cumsum()
    start = np.append(0,stop[:-1])
    am = a[mask].tolist()
    out = np.array([am[start[i]:stop[i]][-last:] for i  in range(len(start))])
    return out

df['res1'] = loop_compr_based(df.iloc[:, :-1].values, 5).tolist()
print (df)
   col1  col2  col3  col4   col5  col6    col7  col8   col9   col10  col11  \
0   NaN   NaN  23.0    23   23.0   NaN    23.0  23.0  123.0     NaN    NaN   
1   NaN   NaN   NaN    45   12.0  23.0    23.0   NaN    NaN     NaN    NaN   
2  45.0  56.0  34.0    23  323.0  12.0     NaN   NaN    NaN     NaN    NaN   
3   NaN   NaN  34.0    65    NaN  65.0  2343.0   NaN    NaN  2344.0    2.0   
4   NaN   NaN   NaN     5  675.0  34.0    34.0  34.0    NaN     NaN    NaN   
5  34.0  45.0  45.0    45    NaN   NaN     NaN   NaN    NaN     NaN    NaN   

   col12  col13   I                                 res1  
0    NaN    NaN  r1      [23.0, 23.0, 23.0, 23.0, 123.0]  
1    NaN    NaN  r2             [45.0, 12.0, 23.0, 23.0]  
2    NaN    NaN  r3      [56.0, 34.0, 23.0, 323.0, 12.0]  
3  324.0  234.0  r4  [2343.0, 2344.0, 2.0, 324.0, 234.0]  
4    NaN    NaN  r5       [5.0, 675.0, 34.0, 34.0, 34.0]  
5    NaN    NaN  r6             [34.0, 45.0, 45.0, 45.0]